[논문 리뷰] Pseudo-task Augmentation: From Deep Multitask Learning to Intratask Sharing---and Back

Elliot Meyerson, Risto Miikkulainen|arXiv (Cornell University)|2018. 03. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 16

한 줄 요약

이 논문은 단일 작업 딥러닝 성능을 향상시키기 위해 다중작업 학습 원리를 적용한 가짜작업 증강(Pseudo-task augmentation, PTA)을 소개한다. PTA는 단일 학습 작업에 대해 다수의 태스크별 디코더를 갖춘 공유 특징 추출기를 훈련시켜 다중작업 학습을 시뮬레이션한다. PTA는 일반화 능력을 향상시키며, 다중작업 학습과 조합했을 때 CelebA에서 최고 성능을 기록하여 내작업 공유와 외작업 학습 간 상호보완적 성과를 입증한다.

ABSTRACT

Deep multitask learning boosts performance by sharing learned structure across related tasks. This paper adapts ideas from deep multitask learning to the setting where only a single task is available. The method is formalized as pseudo-task augmentation, in which models are trained with multiple decoders for each task. Pseudo-tasks simulate the effect of training towards closely-related tasks drawn from the same universe. In a suite of experiments, pseudo-task augmentation is shown to improve performance on single-task learning problems. When combined with multitask learning, further improvements are achieved, including state-of-the-art performance on the CelebA dataset, showing that pseudo-task augmentation and multitask learning have complementary value. All in all, pseudo-task augmentation is a broadly applicable and efficient way to boost performance in deep learning systems.

연구 동기 및 목표

• 단일 작업만 존재하는 환경에서 다중작업 학습 원리를 적용해 단일작업 학습의 성능 격차를 해소하기 위해.
• 동일한 작업을 다수의 디코더를 통해 풀 수 있는 공유 모델을 훈련시켜 다중작업 학습과 유사한 일반화 능력을 향상시킬 수 있는지 탐구하기 위해.
• 실제로 여러 개의 작업이 필요하지 않은 실용적이고 광범위하게 적용 가능한 딥러닝 시스템 향상 방법을 개발하기 위해.
• 가짜작업 증강과 전통적인 다중작업 학습 간의 상호보완성(상호보완적 상호작용)을 조사하여, 둘이 상호보완적임을 입증하기 위해.
• 표준 앙상블 또는 단일 헤드 아키텍처를 넘어서 내작업 파rameter 공유를 통한 효율적인 모델 탐색을 가능하게 하기 위해.

제안 방법

• PTA는 단일 학습 작업을 위해 공유 특징 추출기와 다수의 태스크별 디코더를 함께 훈련시어 다수의 '가짜작업'을 효과적으로 생성한다.
• 각 디코더는 동일한 타겟을 예측하기 위해 공유 표현을 투영하지만, 서로 다른 인도크티브 바이어스를 지닌다. 이는 공유 특징 공간이 다양한 해법 경로를 통해 일반화되도록 유도한다.
• 모든 가짜작업의 평균 손실을 최소화하는 연속 최적화 목표를 사용하며, 이는 다수의 디코더에 대한 개별 손실의 평균을 최소화하는 것으로 수식화된다.
• PTA-HGD(하이퍼기울기 하강을 통한 온라인 디코더 검색)와 PTA-F(고정 스케줄)와 같은 제어 전략을 사용해 가짜작업의 훈련 동역학을 제어한다.
• 기존 딥러닝 프레임워크와 호환되며, 표준 다중작업 학습과 조합해 성능 향상을 더욱 높일 수 있다.
• 이론적 분석을 통해 다수의 가짜작업으로 훈련하는 것이 단일작업 학습을 엄격히 포함함을 보여, 수렴성과 일반화 성능 향상이 보장됨을 시사한다.

실험 결과

연구 질문

• RQ1 동일한 작업을 다수의 디코더로 훈련하는 단일 모델이 다중작업 학습과 유사하게 단일작업 학습의 일반화 능력을 향상시킬 수 있는가?
• RQ2 고정 스케줄, 적응형 검색 등의 다양한 가짜작업 경로 제어 전략이 성능 및 일반화에 미치는 영향은 어떠한가?
• RQ3 가짜작업 증강이 전통적인 다중작업 학습의 성능 향상에 얼마나 상호보완적인가?
• RQ4 다중작업 학습과 조합했을 때 PTA가 CelebA와 같은 벤치마크 데이터셋에서 최고 성능을 기록할 수 있는가?
• RQ5 가짜작업 동역학에서의 다양성은 모델의 강건성과 일반화에 어떤 역할을 하는가?

주요 결과

• PTA는 CIFAR-10, SVHN, IMDB를 포함한 여러 데이터셋에서 단일작업 학습 문제의 성능을 크게 향상시켰다.
• CelebA 데이터셋에서 PTA-HGD는 테스트 오차 7.94%를 기록하여 이전 모든 방법을 능가하며 새로운 최고 성능을 확립했다.
• 다중작업 학습과 조합했을 때 PTA는 추가적인 성능 향상을 보였으며, 이는 PTA와 MTL이 상호보완적임을 보여주며 중복적이지 않음을 입증한다.
• 그림 5에서 보듯이, 가짜작업 간에 학습된 드롭아웃 스케줄의 다양성은 PTA가 작업별 적응을 가능하게 하며, 특정 스케줄이 지배적이지 않음을 시사한다.
• 여러 PTA 모델을 앙상블하면 성능 향상이 더 커지지만, 단일 PTA 모델 내부의 디코더를 앙상블하는 것은 최고의 단일 디코더 성능을 넘어서는 유의미한 성능 향상은 얻지 못했다.
• 온라인 디코더 검색 방법인 PTA-HGD는 고정 스케줄 및 무작위 검색 버전을 모두 능가했으며, 이는 가짜작업 훈련에서 적응형 제어의 중요성을 보여준다.