[논문 리뷰] Bayesian Multitask Learning with Latent Hierarchies

Hal Daumé|arXiv (Cornell University)|2014. 08. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 85

한 줄 요약

이 논문은 일반화를 향상시키기 위해 작업 간 잠재적 계층적 관계를 모델링하는 베이지안 다중작업 학습 프레임워크를 제안한다. 작업 간에 분류기 구조와 공분산 구조를 함께 공유함으로써, 이 방법은 이전 모델들을 포괄하고 세 가지 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 구조적 인도적 편향을 통해 예측 정확도와 강인성을 향상시킨다.

ABSTRACT

We learn multiple hypotheses for related tasks under a latent hierarchical relationship between tasks. We exploit the intuition that for domain adaptation, we wish to share classifier structure, but for multitask learning, we wish to share covariance structure. Our hierarchical model is seen to subsume several previously proposed multitask learning models and performs well on three distinct real-world data sets.

연구 동기 및 목표

• 관련 작업 간의 복잡한 관계를 포괄하는 통합된 베이지안 다중작업 학습 프레임워크를 개발하는 것.
• 계층적 베이지안 공식화에서 공유되는 분류기 구조와 공유되는 공분산 구조를 모델링하는 것.
• 구조적 인도적 편향을 통해 관련 학습 작업에서 일반화와 예측 성능을 향상시키는 것.
• 작업에 대한 잠재적 계층을 도입하여 기존의 다중작업 학습 모델을 포괄하고 확장하는 것.
• 다양한 실세계 데이터셋에서 접근 방식을 검증하여 강인성과 성능 향상을 입증하는 것.

제안 방법

• 모델은 작업별 매개변수에 대한 계층적 베이지안 사전분포를 사용하며, 고차원의 초사전분포가 공유 구조를 지배한다.
• 유도 가능한 추론을 위해 공액 사전분포 구조를 사용하여 작업별 분류기와 공유 공분산 행렬을 함께 학습한다.
• 잠재적 계층은 작업에 대한 트리 구조의 사전분포로 표현되어 정보 공유의 유연성을 제공한다.
• 변분 추론을 사용하여 모델 매개변수의 사후분포를 근사함으로써 확장 가능한 학습을 가능하게 한다.
• 학습된 계층을 통해 작업 간 관계를 자동으로 탐지할 수 있도록 프레임워크를 제공한다.
• 기능적 및 구조적 사전분포를 공유함으로써 도메인 적응과 다중작업 학습 목표를 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 복잡하고 구조화된 관계를 가진 관련 작업 간의 관계를 베이지안 다중작업 학습 프레임워크에서 모델링할 수 있는가?
• RQ2 분류기 구조와 공분산 구조를 모두 공유하는 통합 모델이 기존의 다중작업 학습 접근 방식을 능가할 수 있는가?
• RQ3 잠재적 계층적 구조는 다양한 작업 간의 일반화와 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 정확도와 강인성 측면에서 제안된 방법은 기존의 다중작업 학습 모델과 어떻게 비교되는가?
• RQ5 모델은 명시적 지도 없이 데이터로부터 의미 있는 작업 간 관계를 자동으로 탐지할 수 있는가?

주요 결과

• 제안된 모델은 세 가지 다른 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 다중작업 학습 기준선을 능가한다.
• 계층적 구조는 관련 작업 간 지식 전이를 효과적으로 가능하게 하여 일반화를 향상시킨다.
• 모델은 이전에 제안된 여러 다중작업 학습 모델을 포괄하고 일반화함으로써 더 넓은 적용 가능성을 보여준다.
• 분류기와 공분산 구조를 함께 모델링하는 것은 한 종류의 구조만 공유하는 모델보다 더 강인하고 정확한 예측을 가능하게 한다.
• 잠재적 계층은 작업 간 관계를 자동으로 탐지할 수 있게 하여, 작업 유사성에 대한 사전 지식이 없어도 성능 향상을 이룬다.
• 실험 결과는 특히 데이터가 적은 환경에서 예측 정확도 향상이 일관되게 관찰됨을 보여준다.