[논문 리뷰] Sluice networks: Learning what to share between loosely related tasks.

Sebastian Ruder, Joachim Bingel외 2명|arXiv (Cornell University)|2017. 05. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 117

한 줄 요약

슬루이스 네트워크는 깊이 있는 신경망에서 약간 관련된 작업들 간에 공유되는 부분을 동적으로 제어할 수 있는 학습 가능한 파rameterization을 도입하여, 층, 부분공간, 스킵 연결을 통해 민첩한 하드 공유 또는 소프트 공유를 가능하게 한다. 이 프레임워크는 온토노트 5.0를 사용하여 일곱 개인 자연어 처리 도메인에서 평균 오차를 최대 15% 감소시켜 기존의 표준 다중작업 학습 접근법을 능가한다.

ABSTRACT

Multi-task learning is partly motivated by the observation that humans bring to bear what they know about related problems when solving new ones. Similarly, deep neural networks can profit from related tasks by sharing parameters with other networks. However, humans do not consciously decide to transfer knowledge between tasks (and are typically not aware of the transfer). In machine learning, it is hard to estimate if sharing will lead to improvements; especially if tasks are only loosely related. To overcome this, we introduce Sluice Networks, a general framework for multi-task learning where trainable parameters control the amount of sharing -- including which parts of the models to share. Our framework goes beyond and generalizes over previous proposals in enabling hard or soft sharing of all combinations of subspaces, layers, and skip connections. We perform experiments on three task pairs from natural language processing, and across seven different domains, using data from OntoNotes 5.0, and achieve up to 15% average error reductions over common approaches to multi-task learning. We analyze when the architecture is particularly helpful, as well as its ability to fit noise. We show that a) label entropy is predictive of gains in sluice networks, confirming findings for hard parameter sharing, and b) while sluice networks easily fit noise, they are robust across domains in practice.

연구 동기 및 목표

• 작업 간의 관련성이 낮을 때 파라미터 공유를 언제, 어떻게 할 것인지 결정하는 데 도전하는 문제를 해결하기 위해.
• 학습 가능한 제어를 통해 모델 구성 요소(층, 부분공간, 스킵 연결) 중 어떤 것이 공유될지를 자동으로 제어할 수 있는 프레임워크를 개발하기 위해.
• 기존 방법을 넘어선 일반화를 위해 아키텍처 구성 요소 간에 하드 공유와 소프트 공유의 모든 조합을 허용하기 위해.
• 다양한 자연어 처리 작업과 도메인에서 프레임워크의 효과성을 평가하기 위해, 특히 자원이 제한되거나 노이즈가 많은 환경에서의 성능을 평가하기 위해.
• 라벨 엔트로피와 성능 향상 간의 관계를 조사하고, 노이즈에 대한 강인성을 평가하기 위해.

제안 방법

• 다양한 작업 간에 네트워크의 어떤 부분을 공유할지를 학습하는 파rameterized 게이팅 메커니즘을 도입하여, 하드 공유와 소프트 공유를 모두 가능하게 한다.
• 각 층 또는 부분공간이 공유 파라미터에 접근하는 것을 제어하는 학습 가능한 게이트를 갖춘 모듈러 아키텍처를 설계한다.
• 층, 부분공간, 스킵 연결 간의 모든 조합에서 공유를 허용하여 파라미터 공유에 대한 세밀한 제어를 가능하게 한다.
• 표준 역전파를 사용하여 전체 모델을 엔드 투 엔드로 훈련하며, 게이트 파라미터는 공동 작업 성능을 최적화하도록 업데이트된다.
• 하드 공유의 미분 가능한 유사체를 사용하여 소프트 공유를 허용함으로써 기울기 기반 최적화를 통한 공유 결정을 가능하게 한다.
• 다양한 도메인에서 훈련하여 일반화 능력을 평가하기 위해 온토노트 5.0를 사용하여 여러 자연어 처리 작업에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 학습 가능한, 적응형 공유 메커니즘이 자연어 처리 분야에서 관련성이 낮은 다중작업 학습 작업의 성능을 향상시킬 수 있는가?
• RQ2 제안된 프레임워크에서 라벨 엔트로피는 성능 향상과 어떻게 상관관계가 있는가?
• RQ3 슬루이스 네트워크는 어떤 정도로 다양한 도메인으로 일반화되며, 노이즈 데이터를 처리할 수 있는가?
• RQ4 층, 부분공간, 스킵 연결 수준에서 공유를 제어할 수 있는 능력이 고정된 공유 전략보다 더 높은 성능을 낼 수 있는가?
• RQ5 학습된 공유 패턴은 라벨 노이즈와 도메인 이동에 대해 얼마나 강인한가?

주요 결과

• 슬루이스 네트워크는 온토노트 5.0를 사용하여 일곱 개인 자연어 처리 도메인에서 표준 다중작업 학습 기준보다 평균 오차를 최대 15% 감소시킨다.
• 라벨 엔트로피는 성능 향상의 예측 가능성을 보여주며, 불확실성이 높은 작업이 공유 표현에서 더 큰 이점을 얻는다는 것을 확인한다.
• 모델은 노이즈를 적응할 수 있는 능력에도 불구하고 도메인 간에 강력한 강인성을 보이며, 실세계 환경에서의 실용성을 시사한다.
• 프레임워크는 어떤 아키텍처 구성 요소를 공유할지를 효과적으로 학습할 수 있으며, 고정된 공유 전략을 능가한다.
• 층, 부분공간, 스킵 연결에서 하드 공유 또는 소프트 공유를 학습할 수 있는 능력은 일반화 및 성능 향상에 기여한다.
• 작업 간의 관계가 약하거나 모호할 때조차도 높은 성능을 유지함으로써 효과적인 인덕티브 바이어스 학습을 수행할 수 있음을 시사한다.