[논문 리뷰] End-to-End Multi-Task Learning with Attention

Shikun Liu, Edward Johns외 1명|arXiv (Cornell University)|2018. 03. 28.

Advanced Neural Network Applications참고 문헌 30인용 수 20

한 줄 요약

이 논문은 다중 작업 분류, 깊이 추정, 이미지 분류 작업에서 최고 성능을 내는 파라미터 효율적이고 엔드 투 엔드의 다중 작업 학습 아키텍처인 멀티태스크 어텐션 네트워크(MTAN)를 제안한다. MTAN은 공유된 글로벌 특징 풀에서 특징을 동적으로 선택하기 위해 작업별 소프트 어텐션 모듈을 사용한다. 이는 기존 방법에 비해 파라미터 수가 줄어들었음에도 불구하고 이미지 세그멘테이션, 깊이 추정, 이미지 분류 작업 전반에서 최고 성능을 기록하며, 손실 가중치 설정에 대한 강건성도 확보한다.

ABSTRACT

We propose a novel multi-task learning architecture, which allows learning of task-specific feature-level attention. Our design, the Multi-Task Attention Network (MTAN), consists of a single shared network containing a global feature pool, together with a soft-attention module for each task. These modules allow for learning of task-specific features from the global features, whilst simultaneously allowing for features to be shared across different tasks. The architecture can be trained end-to-end and can be built upon any feed-forward neural network, is simple to implement, and is parameter efficient. We evaluate our approach on a variety of datasets, across both image-to-image predictions and image classification tasks. We show that our architecture is state-of-the-art in multi-task learning compared to existing methods, and is also less sensitive to various weighting schemes in the multi-task loss function. Code is available at https://github.com/lorenmt/mtan.

연구 동기 및 목표

• 다중 작업 학습에서 효과적인 특징 공유와 손실 균형 조절의 이중 과제를 해결하기 위해.
• 수동 조정 없이도 작업 공유 특징과 작업별 특징을 자동으로 학습하는 통합 아키텍처를 설계하기 위해.
• 특히 작업 수가 증가할수록 파라미터 효율성과 확장성을 향상시키기 위해.
• 다중 작업 설정에서 흔히 학습 안정성에 악영향을 주는 손실 가중치 하이퍼파rameter 조정에 대한 민감도를 줄이기 위해.
• 다양한 다중 작업 벤치마크, 특히 밀도 높은 예측과 이미지 분류 작업에서 최고 성능을 달성하기 위해.

제안 방법

• 아키텍처는 입력 데이터로부터 글로벌 특징 풀을 생성하기 위해 단일 공유 백본 네트워크를 사용한다.
• 각 작업에 대해, 소프트 어텐션 모듈이 각 합성곱 블록에 적용되어 작업 관련성에 따라 공유된 특징을 재가중한다.
• 어텐션 매스크는 미분 가능하며 엔드 투 엔드로 훈련되어 공유 표현에서 작업별 특징을 자동으로 선택할 수 있다.
• 이 방법은 세그넷이나 웨이드 리저넷과 같은 임의의 순방향 신경망과 호환되어 탄력적인 백본 통합을 가능하게 한다.
• 각 작업의 손실 변화율에 따라 작업 가중치를 적응적으로 조정하는 새로운 다이내믹 웨이트 평균(DWA) 손실 가중치 기법을 제안한다.
• 특수한 헤드 분리나 복잡한 정규화 없이 표준 최적화를 사용해 엔드 투 엔드로 네트워크를 훈련한다.

실험 결과

연구 질문

• RQ1 명시적인 아키텍처 분리 없이도 다중 작업 학습 아키텍처가 공유 특징과 작업별 특징을 자동으로 학습할 수 있는가?
• RQ2 고정된 특징 공유 방식에 비해 어텐션 기반 특징 선택이 다중 작업 네트워크의 성능과 강건성에 어떻게 기여하는가?
• RQ3 제안된 방법이 다중 작업 훈련에서 손실 가중치 하이퍼파rameter에 대한 민감도를 어느 정도 감소시키는가?
• RQ4 기존의 다중 작업 네트워크보다 크게 파라미터 효율적인 동시에 높은 성능을 유지할 수 있는가?
• RQ5 이 방법이 다양한 작업, 특히 밀도 높은 예측과 이미지 분류 작업에 대해 벤치마크 데이터셋에서 일반화 가능한가?

주요 결과

• MTAN은 CityScapes 데이터셋에서 세그멘테이션, 깊이 추정, 표면 법선 예측 작업에서 최고 성능을 기록했으며, 파라미터 수가 2941개(단일 작업 기준선 대비 2.9배 작음)로 나타났다.
• Visual Decathlon 챌린지에서 MTAN은 각 작업당 최대 점수 1000점 중 96.88점(96.88%)의 누적 점수를 기록했으며, 대부분의 베이스라인을 초월했고, 복잡한 정규화 없이도 최고 성능을 달성했다.
• 작업 복잡도가 증가할수록 성능 향상이 두드러지며, 특히 복잡한 작업에서 단일 작업 어텐션 네트워크(STAN)보다 우수한 성능을 보였다.
• 어텐션 매스크의 시각적 분석을 통해 작업별 특징 선택이 잘 이루어졌음을 확인했으며, 깊이 작업은 더 높은 대비를 보여 작업별 특징에 더 강하게 의존하고 있음을 시사한다.
• MTAN은 다양한 손실 가중치 설정에 강건하며, 특히 훈련 안정성과 수렴을 향상시키는 제안된 다이내믹 웨이트 평균(DWA) 기법을 통해 성능 향상이 뚜렷했다.
• 아키텍처는 매우 파라미터 효율적이며, Visual Decathlon에서 10개의 작업에 대해 단지 2941개의 파라미터만을 사용해 기존의 명시적 작업별 분기 구조를 가진 방법에 비해 모델 크기를 크게 줄였다.