[논문 리뷰] Learning Multiple Tasks with Multilinear Relationship Networks

Mingsheng Long, Zhangjie Cao외 2명|arXiv (Cornell University)|2015. 06. 06.

Tensor decomposition and applications인용 수 193

한 줄 요약

이 논문은 다층에서 네트워크 파라미터에 대한 텐서 정규 사전분포를 사용하여 세분화된 작업 관계를 모델링하는 딥 다중작업 학습 프레임워크인 다중선형 관계 네트워크(MRN)를 제안한다. 특징층에서의 부정적 전이와 분류기층에서의 부족한 전이를 완화하기 위해, MRN은 전이 가능한 특징과 작업, 클래스, 특징 간의 다중선형 관계를 함께 학습함으로써 표준 다중작업 학습 벤치마크에서 최신 성능을 달성한다.

ABSTRACT

Deep networks trained on large-scale data can learn transferable features to promote learning multiple tasks. Since deep features eventually transition from general to specific along deep networks, a fundamental problem of multi-task learning is how to exploit the task relatedness underlying parameter tensors and improve feature transferability in the multiple task-specific layers. This paper presents Multilinear Relationship Networks (MRN) that discover the task relationships based on novel tensor normal priors over parameter tensors of multiple task-specific layers in deep convolutional networks. By jointly learning transferable features and multilinear relationships of tasks and features, MRN is able to alleviate the dilemma of negative-transfer in the feature layers and under-transfer in the classifier layer. Experiments show that MRN yields state-of-the-art results on three multi-task learning datasets.

연구 동기 및 목표

• 딥 특징층에서의 부정적 전이와 분류기층에서의 부족한 전이 문제를 다항다중작업 학습 동안 해결하기 위해.
• 딥 컨volutional 네트워크에서 작업, 클래스, 특징 간의 세분화된 관계를 모델링하여 특징 전이 가능성 향상하기 위해.
• 네트워크 파라미터에 대한 새로운 텐서 정규 사전분포를 사용하여 전이 가능한 특징과 다중선형 작업 관계를 함께 학습하기 위해.
• 기존 방법들이 작업 관계를 무시하거나 浅층 표현에 의존하는 한계를 극복하기 위해.

제안 방법

• 딥 네트워크의 다수의 작업 전용 레이어에 대한 파라미터 텐서에 대한 베이지안 사전분포로 텐서 정규 사전분포를 도입한다.
• 고차원 파라미터 텐서의 공분산 구조를 통해 작업, 클래스, 특징 간의 다중선형 관계를 모델링한다.
• 딥 특징과 다중선형 작업 관계를 함께 최적화하는 효과적인 학습 알고리즘을 개발한다.
• 공유 특징 레이어와 작업 전용 분류기 레이어에 프레임워크를 적용하여 적응형 지식 전이를 가능하게 한다.
• Hinton 다이어그램과 t-SNE 시각화를 사용하여 학습된 작업 관계와 특징 임베딩을 분석한다.
• 하위 구조 분석을 위해 변형(MRN 8, MRN t)을 평가하여 저층 관계와 다중선형 특징-클래스-작업 상호작용의 기여도를 분석한다.

실험 결과

연구 질문

• RQ1 작업, 클래스, 특징 간의 다중선형 관계를 모델링하면 딥 다중작업 학습에서 지식 전이가 향상되는가?
• RQ2 네트워크 파라미터에 대한 텐서 정규 사전분포를 통합할 경우 특징 전이 가능성과 작업 간 일반화에 어떤 영향을 미치는가?
• RQ3 특징과 작업 관계를 함께 학습함으로써 특징 레이어에서의 부정적 전이와 분류기 레이어에서의 부족한 전이가 모두 완화되는가?
• RQ4 제안된 다중선형 관계는 단순한 작업 공분산 또는 공유 특징 부분공간 모델에 비해 내재된 작업 유사성을 얼마나 잘 포착하는가?

주요 결과

• MRN는 세 가지 표준 다중작업 학습 데이터셋에서 최신 성능을 기록하며 얕은 및 깊은 다중작업 학습 베이스라인을 모두 초월한다.
• fc7 레이어에서 작업 관계 모델링을 생략한 변형 MRN 8는 전체 MRN보다 성능이 열 劣하므로, 작업 전용 저층에서의 관계 모델링의 중요성을 확인한다.
• 다중선형 특징-클래스-작업 관계가 없는 변형 MRN t는 전체 MRN보다 성능이 열 劣하므로, 공동 공분산 구조를 포착함으로써 전이 가능성 향상이 이루어짐을 시사한다.
• Hinton 다이어그램 시각화 결과, MRN는 더 일관되고 양의 상관관계를 가진 작업 상관관계(예: A, W, D는 양의 상관관계)를 학습하는 반면, MTRL은 비유사 작업인 D와 C 간에 음의 상관관계를 보인다.
• t-SNE 시각화 결과, MRN 특징는 더 나은 클래스 간 분리도와 클래스 내 응집도를 보이며, 작업 간 정렬이 향상되어 더 강력한 전이 가능성의 증거를 제공한다.
• 실험 결과, MRN는 세분화되고 다중선형적인 관계를 모델링함으로써 특징 레이어에서의 부정적 전이와 분류기 레이어에서의 부족한 전이를 효과적으로 감소시킴을 확인한다.