[논문 리뷰] Trace Norm Regularised Deep Multi-Task Learning

Yongxin Yang, Timothy M. Hospedales|arXiv (Cornell University)|2016. 06. 13.

Tensor decomposition and applications참고 문헌 15인용 수 63

한 줄 요약

이 논문은 사전에 정의된 아키텍처 제약 없이 작업 간 파라미터 공유를 자동으로 학습할 수 있도록 텐서 트레이스 노름 정규화를 사용하는 데이터 기반 딥 다중작업 학습 프레임워크를 제안한다. 작업 간 스택된 레이어 파라미터에 트레이스 노름 정규화를 적용함으로써, 원칙적이고 볼록한 방식으로 공유 표현을 유도하며, Omniglot 문자 인식에서 일반화 성능 향상과 과적합 감소를 달성한다. LAF, Tucker, TT 텐서 노름 변형 모두에서 일관된 성능을 보였다.

ABSTRACT

We propose a framework for training multiple neural networks simultaneously. The parameters from all models are regularised by the tensor trace norm, so that each neural network is encouraged to reuse others' parameters if possible -- this is the main motivation behind multi-task learning. In contrast to many deep multi-task learning models, we do not predefine a parameter sharing strategy by specifying which layers have tied parameters. Instead, our framework considers sharing for all shareable layers, and the sharing strategy is learned in a data-driven way.

연구 동기 및 목표

• 딥 다중작업 학습에서 최적의 파라미터 공유 아키텍처를 설계하는 데 도전하는 데, 수동적인 레이어 선택이 복잡하고 실수를 유발할 수 있음을 해결하기 위해.
• 사전에 연결된 레이어를 정의하지 않고도 다수의 작업 간에 자동으로 파라미터 공유 패턴을 발견할 수 있도록 하기 위해.
• 다층 신경망 파라미터의 저랭크 구조에 대한 볼록한 대체 측정으로 텐서 트레이스 노름 정규화를 활용하기 위해.
• 명시적인 인수분해 기반 방법에 대한 영향을 고려할 수 있는 유연하고 확장 가능한 대안을 제공하기 위해.
• LAF, Tucker, TT 등 다양한 텐서 트레이스 노름 공식화의 효과를 소수의 학습 벤치마크에서 일반화 성능 향상 측면에서 실증적으로 평가하기 위해.

제안 방법

• 모든 작업의 동일한 레이어 파라미터를 하나의 텐서로 스택하여 다차원 배열을 형성한다 (예: T개의 작업이 있는 컨볼루션 레이어의 경우 5×5×3×32×T).
• 스택된 파라미터 텐서에 텐서 트레이스 노름 정규화를 적용하여 저랭크 구조를 유도함으로써, 작업 간 파라미터 공유를 장려한다.
• 세 가지 텐서 트레이스 노름 변형을 제안한다: 마지막 축 평탄화(LAF), 투커 기반, 텐서트레이스(TT) 기반으로, 각각 다른 텐서 편평화 및 랭크 근사 전략에 대응한다.
• 최적화는 (부-)기울기 하강법을 사용하며, 기울기 노름의 부분도함수는 SVD를 통해 계산된다: ∂||X||_* / ∂X = U V^T, 여기서 X = UΣV^T이다.
• 프레임워크는 텐서플로우로 구현되었으며, 표준 역전파와 함께 공유 레이어 파라미터에 추가된 트레이스 노름 정규화를 통해 엔드 투 엔드로 훈련된다.
• 정규화 강도는 하이퍼파rameter γ로 제어되며, 모든 레이어와 변형에 동일하게 0.01로 설정된다.

실험 결과

연구 질문

• RQ1 사전에 정의된 아키텍처 제약 없이도 텐서 트레이스 노름 정규화가 딥 신경망 레이어 간 효과적인 파라미터 공유 패턴을 자동으로 학습할 수 있는가?
• RQ2 LAF, Tucker, TT 등 다양한 텐서 노름 공식화는 딥 다중작업 학습에서 일반화 성능 및 학습 역학 측면에서 어떻게 비교되는가?
• RQ3 트레이스 노름 정규화는 단일작업 학습 대비 소수의 학습 시나리오에서 과적합을 줄이는가?
• RQ4 하부 레이어가 상부 레이어보다 더 많은 파라미터 공유를 보이는가? 이는 이전의 아키텍처 직관과 일치하는가?
• RQ5 LAF, Tucker, TT 중 텐서 노름 변형의 선택은 성능에 민감한가, 아니면 모든 변형이 유사한 향상을 제공하는가?

주요 결과

• Omniglot 데이터셋에서 단일작업 학습(STL) 대비 제안된 방법이 과적합을 크게 감소시켰으며, 테스트 손실이 낮고 테스트 정확도가 높은 것으로 확인되었다.
• LAF, Tucker, TT의 세 가지 변형 모두 STL보다 더 나은 일반화 성능을 달성했으며, 일부 실행에서 최대 약 10%의 정확도 향상을 보였다.
• 파라미터 공유 강도는 첫 번째 컨볼루션 레이어에서 가장 높았고, 최종 레이어로 갈수록 감소하는 경향을 보였으며, 이는 초기 특징이 더 재사용 가능하다는 직관적 설계 원칙을 뒷받침한다.
• 훈련 손실는 초기에 STL보다 높았지만, 노름 항목(정규화)은 시간이 지남에 따라 감소하여 모델이 파라미터 공유를 효과적으로 학습했다는 것을 시사한다.
• 텐서 노름 변형(LAF, Tucker, TT)의 선택은 성능에 미미한 영향을 미쳤으며, 최적화 과정에서 손실와 노름 항목 모두가 일관되게 감소하는 경향을 보였다.
• 모델은 강건성과 유연성을 보였으며, 한 노름 변형을 최적화하면 다른 변형의 노름 값도 감소하는 것으로 나타나, 상호보완적인 학습 역학을 유도하는 것으로 보였다.