[논문 리뷰] Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time

Ferran Alet, Maria Bauzá외 4명|arXiv (Cornell University)|2020. 09. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 5

한 줄 요약

이 논문은 예측 시점에서 비지도 목표를 최적화하여 인도크티브 편향을 코딩함으로써 일반화 갭을 제거하고 학습 목표를 최종 예측 목표와 일치시키는 테일링(tailoring)과 메타-테일링(meta-tailoring)을 소개한다. 추론 중 입력별로 비지도 손실에 대해 모델 파라미터를 피지테이닝하고, 이 적응을 최적화하기 위해 메타학습을 수행함으로써, 계산 비용을 최소화하면서도 시각 및 언어 작업 전반에서 일반화와 표현 학습을 향상시킨다.

ABSTRACT

From CNNs to attention mechanisms, encoding inductive biases into neural networks has been a fruitful source of improvement in machine learning. Adding auxiliary losses to the main objective function is a general way of encoding biases that can help networks learn better representations. However, since auxiliary losses are minimized only on training data, they suffer from the same generalization gap as regular task losses. Moreover, by adding a term to the loss function, the model optimizes a different objective than the one we care about. In this work we address both problems: first, we take inspiration from extit{transductive learning} and note that after receiving an input but before making a prediction, we can fine-tune our networks on any unsupervised loss. We call this process {\em tailoring}, because we customize the model to each input to ensure our prediction satisfies the inductive bias. Second, we formulate {\em meta-tailoring}, a nested optimization similar to that in meta-learning, and train our models to perform well on the task objective after adapting them using an unsupervised loss. The advantages of tailoring and meta-tailoring are discussed theoretically and demonstrated empirically on a diverse set of examples.

연구 동기 및 목표

• 학습 기간 동안만 최적화되는 비지도 손실의 일반화 갭을 해결하기 위해, 추론 시점에서 비지도 손실을 최적화함으로써 보완한다.
• 학습 목표(작업 손실 + 비지도 손실)와 실제 예측 목표(작업 손실만) 사이의 불일치를 해결한다.
• 예측 시점에서 비지도 인도크티브 편향을 사용해 개별 입력에 적응할 수 있도록 하여 일반화와 표현 품질을 향상시킨다.
• 메타-테일링을 통해 비지도 손실을 통한 적응 후 작업 목표에서 잘 성능을 내는 모델을 훈련함으로써, 메타학습 원리를 모방한다.
• 테일링과 메타-테일링이 작업에 특화된 재훈련이 필요 없이 다양한 시각 및 언어 벤치마크에서 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 테일링은 추론 시점에서 입력 쿼리를 사용해 특정 입력에 대해 비지도 손실에 대해 모델 파라미터를 온라인 피지테이닝하여, 예측 이전에 모델을 맞춤화한다.
• 이 방법은 두 단계 최적화를 사용한다: 먼저 비지도 손실(예: 콘트라스트ive, 오토에코딩)에 대해 특정 입력에 대해 모델을 피지테이닝하고, 그 다음에 적응된 파라미터로 최종 예측을 생성한다.
• 메타-테일링은 훈련 중에 적응 과정을 시뮬레이션함으로써 기본 모델이 테일링에 강건하도록 훈련한다. 내부 루프: 테일링, 외부 루프: 작업 손실 최소화.
• 메타-테일링에서 메모리 및 계산 비용을 줄이기 위해 일阶 근사(와프그레드, WarpGrad)를 활용하여 적응 단계를 통해 역전파를 효율적으로 수행한다.
• 이 방법은 다수의 입력에 대해 공유된 배치 기반 적응을 지원하는 미분 가능 아키텍처로 구현되며, 각 샘플에 대해 별도의 정규화 파라미터(γ, β)를 사용한다.
• 이 프레임워크는 다양한 비지도 손실(예: 콘트라스트ive, 자기지도형)을 지원하며, 시각, 언어, 구조적 예측 작업에 모두 적용 가능하다.

실험 결과

연구 질문

• RQ1 예측 시점에서 비지도 목표를 최적화함으로써 비지도 손실의 일반화 갭을 줄일 수 있는가?
• RQ2 비지도 인도크티브 편향을 사용해 개별 입력에 모델을 적응시키면 최종 작업 성능이 향상되는가?
• RQ3 메타-테일링은 훈련 중에 적응이 발생하지 않는 상황에서도 테일링 후 일반화 성능을 잘 유지하도록 모델을 훈련시킬 수 있는가?
• RQ4 테일링은 표준 사전 훈련 및 피지테이닝과 비교해 인도크티브 편향 인코딩과 최종 성능 측면에서 어떻게 다른가?
• RQ5 실제 적용 시 테일링과 메타-테일링의 계산 비용과 메모리 오버헤드는 얼마인가?

주요 결과

• 테일링은 비지도 인도크티브 편향을 사용해 개별 입력에 모델을 적응시킴으로써, 시각 및 언어 벤치마크에서 제로샷 일반화 성능을 크게 향상시킨다.
• 메타-테일링은 전체 피지테이닝 수준의 성능를 달성하지만, 훈련 계산 자원의 극히 소수만을 소비함으로써 효율성을 확보한다.
• 이 방법은 비지도 손실의 일반화 갭을 줄이며, 실제 입력에서 추론 시점에 손실을 최적화함으로써 훈련 데이터에서만 최적화되는 것을 방지한다.
• 실증 결과는 이미지 분류, 의미 세그멘테이션, 텍스트 생성과 같은 다양한 작업에서 메타-테일러드 모델을 사용할 경우 일관된 성능 향상을 보여준다.
• 메타-테일링에서 일阶 근사(WarpGrad)를 사용함으로써 메모리 사용량을 줄이고 훈련 안정성을 향상시키면서도 성능을 손상시키지 않는다.
• 인도크티브 편향이 일반화에 핵심적인 역할을 하는 환경에서는, 표준 비지도 손실 훈련 및 표준 피지테이닝보다 이 방법이 더 뛰어난 성능을 보인다.