[논문 리뷰] Auxiliary Learning by Implicit Differentiation

Aviv Navon, Idan Achituve외 3명|arXiv (Cornell University)|2020. 06. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 4

한 줄 요약

이 논문은 음성 미분을 사용한 딥러닝에서의 자동 보조 학습을 위한 새로운 프레임워크인 AuxiLearn를 제안한다. 비선형 손실 조합의 학습과 데이터로부터 새로운 보조 작업을 탐색하는 것을 통합하여, 이미지 세분화 및 소수의 샘플로 학습하는 분류 작업에서 저자료 환경에서 성능을 크게 향상시키며, MAXL 및 STL과 같은 기준 모델들보다 일관된 성능 향상을 보인다.

ABSTRACT

Training neural networks with auxiliary tasks is a common practice for improving the performance on a main task of interest. Two main challenges arise in this multi-task learning setting: (i) designing useful auxiliary tasks; and (ii) combining auxiliary tasks into a single coherent loss. Here, we propose a novel framework, AuxiLearn, that targets both challenges based on implicit differentiation. First, when useful auxiliaries are known, we propose learning a network that combines all losses into a single coherent objective function. This network can learn non-linear interactions between tasks. Second, when no useful auxiliary task is known, we describe how to learn a network that generates a meaningful, novel auxiliary task. We evaluate AuxiLearn in a series of tasks and domains, including image segmentation and learning with attributes in the low data regime, and find that it consistently outperforms competing methods.

연구 동기 및 목표

• 다중 작업 학습에서 효과적인 보조 작업을 설계하는 데 도전하는 것, 특히 과적합이 흔한 저자료 환경에서의 도전.
• 사전 정의된 보조 손실의 비선형 조합을 학습하는 통합 프레임워크를 개발하여 선형 가중치를 넘어서 일반화 성능을 향상시키는 것.
• 도메인 전문 지식 없이 입력 데이터만을 사용하여 의미 있는 보조 작업을 자동 탐색하는 것.
• 학습 손실 최적화에만 집중하는 것이 아니라 주 작업에 유익한 보조 작업을 학습시켜 모델의 일반화 능력을 향상시키는 것.

제안 방법

• 주 학습 세트에서 보조 파rameter의 직접 최적화를 피하기 위해, 주 네트워크와 새로운 레이블을 생성하는 보조 네트워크를 동시에 최적화하는 데 음성 미분을 사용한다.
• 이중 최적화 설정을 활용: 주 네트워크는 주 작업과 보조 작업에서 학습되며, 보조 네트워크는 별도의 소규모 보조 데이터세트에서 최적화되어 일반화 성능을 향상시킨다.
• 다양한 보조 손실의 비선형적이고 작업에 민감한 조합을 학습하기 위해 딥 네ural 네트워크(예: CNN)를 도입하여 단순 가중 평균을 대체한다.
• 내부 최적화 문제를 통해 역전파를 가능하게 하기 위해 음성 함수 정리(IFT)를 적용하여 손실 조합 네트워크의 엔드 투 엔드 학습을 가능하게 한다.
• 음성 미분 과정의 미분 가능성과 안정성을 확보하기 위해 부드러운 활성화 함수(예: Softplus)와 가중치 정규화를 사용한다.
• 이중 최적화의 계산 가능성을 확보하기 위해 노이만 급수(Neumann series)와 제한된 내부 최적화 단계 수와 같은 근사 기법을 활용한다.

실험 결과

연구 질문

• RQ1 음성 미분을 통해 비선형적으로 다수의 보조 손실을 조합할 수 있는가? 이는 선형 가중치를 넘어서 일반화 성능 향상에 기여하는가?
• RQ2 도메인 전문 지식 없이도 입력 데이터만으로 의미 있는 데이터 기반 보조 작업을 자동으로 생성할 수 있는 신경망을 학습시킬 수 있는가?
• RQ3 주 학습 세트가 아닌 별도의 보조 세트에서 보조 작업을 학습시키는 것이 일반화 성능 향상과 과적합 감소에 기여하는가?
• RQ4 저자료 환경에서, 보조 학습이 가장 유익한 상황에서 제안된 프레임워크의 성능은 어떠한가?
• RQ5 보조 작업의 효과성은 어떤 이론적 성질에 의해 규정되며, 성능 향상에 가장 예측력 있는 요소는 무엇인가?

주요 결과

• CUB-200-2011 데이터셋에서 15-shot 학습 시 AuxiLearn는 테스트 정확도 26.1% ± 0.7을 기록하여 MAXL(24.2% ± 0.8)과 STL(22.6% ± 0.2)를 크게 앞서며 성능 향상을 보였다.
• STL-10 데이터셋에서 학습 데이터의 15%를 사용할 경우 AuxiLearn는 81.42% ± 0.30의 정확도를 달성하여 MAXL(81.37% ± 0.26)과 STL(75.85% ± 0.32)를 초월했다.
• CIFAR-10에서 학습 데이터의 10%를 사용할 경우 AuxiLearn는 76.75% ± 0.08의 정확도를 기록하여 STL(72.63% ± 2.14)과 MAXL(75.85% ± 0.32)를 뛰어넘었다.
• 비연속성 점의 측도가 0인 점들이라서 ReLU와 같은 비연속성 성분을 포함하더라도 안정적인 최적화와 일반화 성능가 유지됨을 입증했다.
• 이론적 분석을 통해 뉴턴 업데이트가 주 작업에 유익한 보조 작업을 식별하는 데 핵심 예측 변수임을 밝혀내어 보조 작업 설계에 체계적인 근거를 제공했다.
• AuxiLearn는 이미지 세분화 및 소수의 샘플로 학습하는 분류와 같은 다양한 작업에서 일관되게 성능 향상을 보였으며, 특히 보조 학습이 가장 유익한 저자료 환경에서 성능 향상이 두드러졌다.