[논문 리뷰] Auxiliary Learning for Deep Multi-task Learning

Yifan Liu, Bohan Zhuang외 3명|arXiv (Cornell University)|2019. 09. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 6

한 줄 요약

이 논문은 딥 다중작업 학습에서 하드 파라미터 공유를 향상시키기 위해 훈련 중에 작업별 보조 모듈을 도입하는 보조 학습 프레임워크를 제안한다. 이는 최적화의 안정성과 일반화 성능을 향상시킨다. 보조 모듈은 작업별 손실로 훈련되며, 공유 레이어에 정규화 역할을 하는 인덕티브 바이어스를 제공하지만 추론 비용을 추가하지 않아, 세분화, 깊이 추정, 표면 법선 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-task learning (MTL) is an efficient solution to solve multiple tasks simultaneously in order to get better speed and performance than handling each single-task in turn. The most current methods can be categorized as either: (i) hard parameter sharing where a subset of the parameters is shared among tasks while other parameters are task-specific; or (ii) soft parameter sharing where all parameters are task-specific but they are jointly regularized. Both methods suffer from limitations: the shared hidden layers of the former are difficult to optimize due to the competing objectives while the complexity of the latter grows linearly with the increasing number of tasks. To mitigate those drawbacks, this paper proposes an alternative, where we explicitly construct an auxiliary module to mimic the soft parameter sharing for assisting the optimization of the hard parameter sharing layers in the training phase. In particular, the auxiliary module takes the outputs of the shared hidden layers as inputs and is supervised by the auxiliary task loss. During training, the auxiliary module is jointly optimized with the MTL network, serving as a regularization by introducing an inductive bias to the shared layers. In the testing phase, only the original MTL network is kept. Thus our method avoids the limitation of both categories. We evaluate the proposed auxiliary module on pixel-wise prediction tasks, including semantic segmentation, depth estimation, and surface normal prediction with different network structures. The extensive experiments over various settings verify the effectiveness of our methods.

연구 동기 및 목표

• 경쟁하는 작업들 간의 충돌하는 기울기로 인해 발생하는 하드 파라미터 공유 다중작업 학습의 최적화 불안정성을 해결하기 위해.
• 작업 수에 따라 선형적으로 증가하는 계산 비효율성으로 인해 소프트 파라미터 공유의 문제를 해결하기 위해.
• 추론 복잡도를 증가시키지 않으면서도 공유 표현의 일반화 및 수렴 성능을 향상시키기 위해.
• 인간이 설계한 편향을 줄이기 위해 자동 아키텍처 탐색을 통해 보조 모듈을 탐색하기 위해.

제안 방법

• 공유 히든 레이어의 특징을 입력으로 받고, 작업별 보조 손실로 감독되는 보조 모듈을 도입한다.
• 주 다중작업 네트워크와 보조 모듈을 동시에 최적화하여 공유 레이어에 계층적 기울기 신호와 인덕티브 바이어스를 제공한다.
• 추론 단계에서는 보조 모듈을 제거하여 원래 모델의 효율성과 추론 속도를 유지한다.
• 신경망 아키텍처 탐색(NAS)을 사용하여 최적의 보조 모듈 구조를 자동으로 발견함으로써 수동 설계에 의존도를 줄인다.
• 다양한 백본 아키텍처(예: ResNet-50, MobileNetV2)를 사용하여 다수의 픽셀 단위 예측 작업에 이 프레임워크를 적용한다.
• 훈련 중에 작업 손실의 가중 합을 사용하며, 보조 모듈이 경쟁 목표를 균형 잡는 데 정규화 역할을 한다.

실험 결과

연구 질문

• RQ1 작업별 목표로 훈련된 보조 모듈이 하드 파라미터 공유 MTL에서 공유 레이어의 최적화를 향상시킬 수 있는가?
• RQ2 보조 모듈을 통한 인덕티브 바이어스 도입이 다중작업 학습에서 더 나은 일반화 및 수렴을 이끌 수 있는가?
• RQ3 제안된 방법은 추론 비용을 증가시키지 않으면서도 단일작업 기준선과 비교해 유사하거나 더 높은 성능을 달성할 수 있는가?
• RQ4 세 가지 작업(MTL: 세분화, 깊이, 법선 추정)과 같이 두 개 이상의 작업으로 확장할 경우 보조 학습 전략의 성능은 어떻게 되는가?
• RQ5 신경망 아키텍처 탐색이 인간의 편향 없이 최적의 보조 모듈 설계를 효과적으로 발견할 수 있는가?

주요 결과

• 제안된 보조 학습 방법은 NYUD-V2에서 Joint 기준선의 mIoU를 42.9%에서 47.9%로 향상시켜 TRL-ResNet-50와 같은 최신 기술 수준의 방법을 초월했다.
• NYUD-V2에서 이 방법은 Rel 오차 0.127과 RMS 오차 0.495를 기록했으며, 깊이 추정의 단일작업 기준선(0.137 Rel 오차)을 능가했다.
• SUNRGBD에서 모든 보조 모듈을 사용했을 때 mIoU는 53.7%에서 54.9%로 향상되었고, 평균 법선 오차는 28.7°에서 26.1°로 감소했다.
• 표면 법선 손실로 감독된 보조 모듈이 깊이 예측 성능을 크게 향상시켜, 강력한 다중작업 간 지식 전이가 이루어졌음을 시사한다.
• NAS로 최적화된 보조 모듈은 최고의 성능을 기록하여 자동 아키텍처 탐색이 MTL 성능 향상에 효과적임을 입증했다.
• 시각화 결과는 기준선 대비 더 일관된 세분화 레이블과 더 정밀한 깊이 맵을 보여주었으며, 정성적 성능 향상이 확인되었다.