[논문 리뷰] Auxiliary Tasks in Multi-task Learning

Lukas Liebel, Marco Körner|arXiv (Cornell University)|2018. 05. 16.

Advanced Neural Network Applications참고 문헌 31인용 수 178

한 줄 요약

본 논문은 학습을 정규화하고 주 작업 성능을 향상시키기 위해 멀티태스크 CNN에 보조 과제를 추가하는 것을 제안하며, 합성 멀티태스크 데이터셋 synMT를 이용한 시각 기반 도로 현장 이해에서 이를 시연한다.

ABSTRACT

Multi-task convolutional neural networks (CNNs) have shown impressive results for certain combinations of tasks, such as single-image depth estimation (SIDE) and semantic segmentation. This is achieved by pushing the network towards learning a robust representation that generalizes well to different atomic tasks. We extend this concept by adding auxiliary tasks, which are of minor relevance for the application, to the set of learned tasks. As a kind of additional regularization, they are expected to boost the performance of the ultimately desired main tasks. To study the proposed approach, we picked vision-based road scene understanding (RSU) as an exemplary application. Since multi-task learning requires specialized datasets, particularly when using extensive sets of tasks, we provide a multi-modal dataset for multi-task RSU, called synMT. More than 2.5 $\cdot$ 10^5 synthetic images, annotated with 21 different labels, were acquired from the video game Grand Theft Auto V (GTA V). Our proposed deep multi-task CNN architecture was trained on various combination of tasks using synMT. The experiments confirmed that auxiliary tasks can indeed boost network performance, both in terms of final results and training time.

연구 동기 및 목표

• 하나의 이미지에서 여러 비전 작업을 해결하기 위한 멀티태스크 학습의 동기를 부여한다.
• 배우기 쉬우면서 메인 작업 성능 향상을 위한 정규화를 제공하는 보조 작업을 도입한다.
• 실험을 위해 다양한 라벨을 가진 합성 멀티태스크 RSU 데이터셋(synMT)을 개발한다.
• 학습 가능한 작업 가중치와 훈련을 안정시키는 정규화 항을 갖는 멀티태스크 손실을 제안한다.

제안 방법

• 학습 가능한 가중치 c_tau와 정규화항 R(c_tau)를 추가하여 항등해(사소해질) 해를 방지하는 멀티태스크 손실을 확장한다 (L_T = sum_tau (1/(2 c_tau^2)) L_tau + log(1 + c_tau^2)).
• DeepLab/ResNet을 기반으로 한 인코더-디코더 CNN 아키텍처를 채택하고 SIDE 및 의미 세분화를 위한 태스크별 디코더와 시간대 및 기상에 대한 보조 분기를 포함한다.
• 근거리 깊이 정확도를 강조하기 위해 비선형 스케일링 깊이 손실 r(d) = 1 - log(d)/log(1000)을 사용한다.
• 시간은 순환 회귀 손실(순환 시간 거리 최소화)로 모델링하고 날씨는 분류 손실로 모델링한다; synMT에서 작은 배치 크기와 함께 Adam으로 학습한다.

실험 결과

연구 질문

• RQ1 보조 작업이 도로 현장 이해를 위한 멀티태스크 CNN에서 주 작업 성능을 향상시킬 수 있는가?
• RQ2 어떤 보조 작업이 효과적인 정규화 기법이며 학습 수렴에 어떤 영향을 미치는가?
• RQ3 합성 멀티태스크 RSU 데이터셋이 실제 데이터에 적용 가능한 인사이트를 제공하는가?
• RQ4 보조 작업의 포함이 깊이, 분할, 시간, 기상 예측에 어떤 영향을 미치는가?
• RQ5 훈련 중에 c_tau를 어떻게 관리하여 사소한 해를 피해야 하는가?

주요 결과

• 보조 작업은 표준 멀티태스크 설정에 비해 주 작업 성능을 향상시키고 수렴 속도를 높일 수 있다.
• 심도 추정은 보조 작업으로 날씨(TIME 및 WEATHER)를 포함할 때 가장 큰 이점을 얻었으며 일부 베이스라인에 비해 현저한 개선이 나타났다.
• 의미론적 분할은 멀티태스크 설정에서 종종 개선되지 않았으며 보조 작업의 이점은 작업에 따라 다르다는 것을 시사한다.
• 보조 작업을 활용한 학습은 최적화를 가속화하여 중간 학습 단계에서도 더 빠르게 수렴을 보인다.
• 네 가지 작업 구성(주 작업과 두 보조 작업)을 통해 네 가지 작업으로 일반화되는 표현을 학습할 수 있지만 보조 작업의 신중한 선택이 중요하다.