[논문 리뷰] Co-Clustering for Multitask Learning

Keerthiram Murugesan, Jaime Carbonell외 1명|arXiv (Cornell University)|2017. 03. 03.

Advanced Clustering Algorithms Research참고 문헌 20인용 수 7

한 줄 요약

이 논문은 유연한 행렬 분해를 통해 작업과 특징의 동시 공집합을 공동으로 학습하는 새로운 다중작업 학습 프레임워크를 제안한다. 이는 작업 및 특징 집합의 수가 다를 수 있도록 공유 잠재 표현을 가능하게 한다. 공액 그래디언트 강하법과 일반화된 실비우스터 행렬 방정식을 사용하여, 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 분류 및 전이 학습 설정에서 기존의 다중작업 학습 기준보다 뛰어나다.

ABSTRACT

This paper presents a new multitask learning framework that learns a shared representation among the tasks, incorporating both task and feature clusters. The jointly-induced clusters yield a shared latent subspace where task relationships are learned more effectively and more generally than in state-of-the-art multitask learning methods. The proposed general framework enables the derivation of more specific or restricted state-of-the-art multitask methods. The paper also proposes a highly-scalable multitask learning algorithm, based on the new framework, using conjugate gradient descent and generalized extit{Sylvester equations}. Experimental results on synthetic and benchmark datasets show that the proposed method systematically outperforms several state-of-the-art multitask learning methods.

연구 동기 및 목표

• 기존의 다중작업 학습 방법들이 작업 관계 또는 공유 특징 표현 중 하나만 학습하지만 동시에 둘 다를 학습하지 못하는 한계를 해결한다.
• 이전의 공집합 방법에서 작업 집합 수가 특징 집합 수와 같아야 한다는 제약 조건을 극복한다.
• 구조화된 최적화를 활용하여 대규모 다중작업 학습에 적합한 확장성 있고 효율적인 알고리즘을 개발한다.
• 공유 잠재 부분공간에서 작업 및 특징 관계를 동시에 모델링하여 일반화 및 전이 성능 향상을 입증한다.

제안 방법

• 작업 파라미터를 공유 잠재 특징 행렬 F와 작업 구조 행렬 G로 분해하는 BiFactor MTL 모델을 제안하여, 저랭크 표현 학습을 가능하게 한다.
• 작업과 특징의 독립적 집합을 허용하기 위해 추가 인자 S를 도입한 TriFactor MTL 모델을 제안하여 BiFactor MTL보다 더 높은 유연성을 제공한다.
• 최적화 문제를 모델링하기 위해 일반화된 실비우스터 행렬 방정식을 사용하여, 공액 그래디언트 강하법를 통해 효율적인 해를 도출한다.
• 결과적으로 발생하는 대규모 최적화 문제를 해결하기 위해 공액 그래디언트 강하법를 사용하여 고차원 다중작업 설정에 대한 확장성을 확보한다.
• 행렬 분해와 번갈아가며 최적화하는 방법을 사용하여 학습 절차를 유도하며, 저랭크 및 집합 구조를 장려하는 정규화된 목표 함수를 최소화한다.
• 공유 특징 표현을 학습함으로써 출력 커널 학습 원리를 암묵적으로 활용하여 상호 작업 간 및 상호 특징 간 관계를 포착한다.

실험 결과

연구 질문

• RQ1 작업과 특징의 동시 공집합을 학습하는 것이, 단지 하나만 학습하는 방법보다 다중작업 학습 성능을 향상시키는가?
• RQ2 작업 및 특징 집합의 수를 다르게 허용함으로써 다중작업 설정에서 더 나은 일반화 및 표현 학습이 이루어지는가?
• RQ3 제안된 프레임워크가 많은 작업과 특징을 포함하는 대규모 다중작업 학습 문제에 효율적으로 확장될 수 있는가?
• RQ4 학습된 공유 표현이 전이 학습 시나리오에서 새로운, 알려지지 않은 작업으로 일반화되는 정도는 어느 정도인가?
• RQ5 TriFactor MTL에서 추가적인 분해가 BiFactor MTL 및 기존 최신 기술 수준의 방법보다 성능 향상에 얼마나 기여하는가?

주요 결과

• TriFactor MTL은 모든 기준 데이터셋에서 가장 높은 F-측도를 기록했으며, 126개 작업의 감성 탐지 실험에서 평균 F-스코어 0.632를 달성하여 GO-MTL(0.539)과 BiFactor(0.574)를 크게 앞서며 성능을 뛰어나게 했다.
• 20 Newsgroups 데이터셋에서 TriFactor MTL은 다섯 개의 작업에 대해 평균 F-스코어 0.54를 기록했으며, BiFactor MTL(0.51)과 GO-MTL(0.49)를 능가하여 뛰어난 전이 학습 능력을 입증했다.
• 모든 시뮬레이션 및 실제 세계 데이터셋에서 CMTL, MTFL, SHAMO와 같은 최신 기술 수준의 다중작업 학습 기준보다 체계적으로 뛰어난 성능을 보였다.
• 일반화된 실비우스터 행렬 방정식과 공액 그래디언트 강하법를 사용함으로써 효율적인 최적화가 가능해져, 수천 개의 작업을 포함하는 대규모 다중작업 학습에 확장 가능한 방법이 되었다.
• TriFactor MTL에서 작업 및 특징의 탄력적 집합화는 BiFactor MTL보다 더 뛰어난 성능을 이끌어내었으며, 이는 서로 다른 집합 수를 허용하는 독립적 집합 모델링의 중요성을 입증한다.
• 전이 학습 실험에서 TriFactor MTL은 소스 작업에서 학습된 표현을 사용해 새로운 타겟 작업에 효과적으로 적응했으며, 훈련 데이터의 10%만을 사용해도 효과적인 지식 전이가 이루어짐을 확인했다.