[논문 리뷰] Learning Multiple Tasks with Deep Relationship Networks

Mingsheng Long, Jianmin Wang외 1명|arXiv (Cornell University)|2015. 06. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 87

한 줄 요약

이 논문은 모든 태스크 전용 레이어—비교적 이전의 특징 추출 레이어와 분류기 포함—의 파라미터에 대해 행렬 정규 사전분포를 적용하여 태스크 간 관계를 모델링하는 다중태스크 학습 프레임워크인 딥 리レーション십 네트워크(Deep Relationship Networks, DRN)를 제안한다. 공유 특징 레이어에서의 악성 전이를 완화하고 분류기에서의 부족한 전이를 해결하기 위해, 전이 가능한 특징과 태스크 상관관계를 동시에 최적화함으로써, DRN은 다중 도메인 객체 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep neural networks trained on large-scale dataset can learn transferable features that promote learning multiple tasks for inductive transfer and labeling mitigation. As deep features eventually transition from general to specific along the network, a fundamental problem is how to exploit the relationship structure across different tasks while accounting for the feature transferability in the task-specific layers. In this work, we propose a novel Deep Relationship Network (DRN) architecture for multi-task learning by discovering correlated tasks based on multiple task-specific layers of a deep convolutional neural network. DRN models the task relationship by imposing matrix normal priors over the network parameters of all task-specific layers, including higher feature layers and classifier layer that are not transferable safely. By jointly learning the transferable features and task relationships, DRN is able to alleviate the dilemma of negative-transfer in the feature layers and under-transfer in the classifier layer. Empirical evidence shows that DRN yields state-of-the-art classification results on standard multi-domain object recognition datasets.

연구 동기 및 목표

• 다중태스크 학습 중 공유 특징 레이어에서의 악성 전이와 태스크 전용 분류기에서의 부족한 전이 문제를 해결하기 위해.
• 비교적 높은 수준의 비이전 가능한 특징과 최종 분류기까지 포함된 딥 네트워크의 여러 레이어에서 태스크 간 관계를 모델링하기 위해.
• 전이 가능한 특징과 태스크 상관관계를 동시에 학습시켜 일반화 성능 향상과 레이블링 부담 감소를 위해.
• 기존 방법들이 특징 레이어와 분류기 레이어의 전이 가능성에 대해 다르게 다루는 한계를 극복하기 위해.

제안 방법

• 모든 태스크 전용 레이어의 네트워크 파라미터에 대해 행렬 정규 사전분포를 적용하여 태스크 간 관계를 모델링하는 딥 리레이션십 네트워크(DRN) 아키텍처를 도입한다.
• 딥 특징 레이어와 분류기 레이어의 파라미터에 모두 행렬 정규 사전분포를 적용하여, 특징 전이 가능성과 태스크 상관관계를 동시에 학습할 수 있도록 한다.
• 딥 네트워크의 계층적 구조를 활용하여, 높은 수준의 비이전 가능한 특징까지 포함된 다수의 수준에서 관계를 모델링한다.
• 태스크 유사도에 기반하여 파라미터 공유를 정규화하는 확률적 프레임워크를 사용하여, 악성 전이를 감소시키고 일반화 성능을 향상시킨다.
• 행렬 정규 사전분포 하에 모든 태스크의 공동 가능도를 최적화함으로써, 태스크 간 공통된 인덕티브 편향을 공유하는 엔드 투 엔드 학습을 가능하게 한다.
• 공유 표현을 학습함으로써 인덕티브 전이를 지원하면서도, 후속 레이어에서 태스크 전용 특징를 유지한다.

실험 결과

연구 질문

• RQ1 딥 신경망의 여러 레이어, 특히 비이전 가능한 분류기 레이어까지 포함하여 태스크 간 관계를 효과적으로 모델링할 수 있는가?
• RQ2 행렬 정규 사전분포를 통해 다중태스크 학습에서 특징 전이를 향상시키고 악성 전이를 감소시킬 수 있는가?
• RQ3 전이 가능한 특징과 태스크 관계를 동시에 최적화하면 다중 도메인 인식 작업에서 더 나은 성능을 낼 수 있는가?
• RQ4 DRN은 기존의 다중태스크 학습 방법에 비해 부족한 전이와 악성 전이를 얼마나 효과적으로 완화하는가?

주요 결과

• DRN은 표준 다중 도메인 객체 인식 데이터셋에서 최신 기술 수준의 분류 성능를 달성한다.
• 모든 태스크 전용 레이어에 행렬 정규 사전분포를 적용함으로써, 공유 특징 레이어에서의 악성 전이가 효과적으로 감소된다.
• 비이전 가능한 구성 요소조차도 태스크 간 관계를 모델링함으로써, DRN은 분류기 레이어에서의 부족한 전이를 완화한다.
• 실험 결과는 특징과 태스크 관계를 동시에 학습시키는 것이 다양한 도메인 간 일반화 성능 향상에 기여함을 보여준다.
• 다양한 벤치마크 데이터셋에서 일관된 성능 향상이 관찰되어, 네트워크의 모든 수준에서 태스크 상관관계를 모델링하는 것이 효과적임을 확인한다.