[논문 리뷰] Exploring Shared Structures and Hierarchies for Multiple NLP Tasks

Junkun Chen, Kaiyu Chen외 3명|arXiv (Cornell University)|2018. 08. 23.

Topic Modeling참고 문헌 22인용 수 14

한 줄 요약

이 논문은 다중 작업 NLP를 위한 최적의 공유 신경망 아키텍처를 자동으로 발견하기 위해 강화학습 기반 컨트롤러를 제안한다. 각 작업에 대해 재사용 가능한 모듈 풀에서 동적으로 모듈을 선택한다. 인간이 설계한 공유 체계 없이 계층적이고 작업에 특화된 구조를 학습하며, 작업 간 관계를 암묵적으로 모델링함으로써 텍스트 분류 및 시퀀스 레이블링 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Designing shared neural architecture plays an important role in multi-task learning. The challenge is that finding an optimal sharing scheme heavily relies on the expert knowledge and is not scalable to a large number of diverse tasks. Inspired by the promising work of neural architecture search (NAS), we apply reinforcement learning to automatically find possible shared architecture for multi-task learning. Specifically, we use a controller to select from a set of shareable modules and assemble a task-specific architecture, and repeat the same procedure for other tasks. The controller is trained with reinforcement learning to maximize the expected accuracies for all tasks. We conduct extensive experiments on two types of tasks, text classification and sequence labeling, which demonstrate the benefits of our approach.

연구 동기 및 목표

• 다중 작업 학습(MTL)에서 효과적인 공유 아키텍처를 수작업으로 설계하는 데 드는 시간과 부정적 전이의 위험을 해결하기 위해.
• 고정된 공유 체계(예: 하드, 소프트, 또는 사전 정의된 계층적 공유)의 한계를 극복하기 위해, 복잡한 작업 간 관계에 적응하지 못하는 문제를 해결하기 위해.
• 강화학습을 사용하여 다양한 NLP 작업에 최적의 모듈 조합과 스택 순서를 자동으로 탐색하기 위해.
• 특히 시퀀스 레이블링 작업에서 인간이 정의한 작업 계층 구조에 의존하지 않고도 작업 간 계층적 구조를 학습하기 위해.
• 새로운 데이터셋과 작업 조합에 적응할 수 있는 확장성 있고 유연한 MTL 솔루션을 개발하기 위해.

제안 방법

• 컨트롤러 네트워크는 강화학습을 사용하여 각 작업에 대해 공유 풀에서 모듈을 샘플링하고 스택하여 작업별로 특화된 아키텍처를 구성한다.
• 컨트롤러는 모듈을 순차적으로 선택하며, 액션은 모듈 인덱스를 나타내고, 유효한 아키텍처를 구성한 후 '정지(Stop)' 신호로 종료된다.
• 정책 기반 강화학습 방법을 사용하여 컨트롤러를 최적화하여 모든 작업의 예상 정확도를 최대화하며, 모델 성능에 기반한 미분 가능한 보상 신호를 사용한다.
• 새로운 동시 온라인 업데이트 전략은 각 배치에서 모든 작업의 공유 모듈 파라미터를 동시에 업데이트함으로써 학습 속도를 가속화한다.
• 아키텍처 탐색은 엔드 투 엔드로 미분 가능하여 모듈 선택과 작업별 헤드 파라미터를 함께 최적화할 수 있다.
• 모듈 선택 순서를 고차원 공간에서 시각화하여 군집 패턴과 계층적 경향성을 분석한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 컨트롤러는 인간이 설계한 공유 체계 없이도 여러 NLP 작업에 대해 효과적인 공유 모듈 아키텍처를 자동으로 탐색할 수 있는가?
• RQ2 POS 태깅, NER, SRL과 같은 관련된 NLP 작업들 간에 의미 있는 계층적 구조를 얼마나 잘 학습할 수 있는가?
• RQ3 유사한 작업들이 학습된 모듈 선택 공간에서 얼마나 가까이 뭉쳐지는가? 이는 효과적인 표현 공유를 의미하는가?
• RQ4 제안된 방법은 텍스트 분류 및 시퀀스 레이블링에 대해 고정된 공유 체계(예: 하드 또는 소프트 공유)보다 성능이 뛰어나게 되는가?
• RQ5 컨트롤러는 아키텍처를 재설계하지 않고도 새로운 데이터셋과 작업 조합에 적응할 수 있는가?

주요 결과

• 모델은 시퀀스 레이블링 작업 간에 계층적 구조를 성공적으로 학습하였으며, 하위 작업(예: POS 태깅)은 초기 단계의 모듈을 공유하고, 고차원 작업(예: SRL)은 더 깊고 전문화된 모듈을 사용한다.
• 유사한 작업들(예: 뉴스 브로드캐스트 대비 브로드캐스트 대화)은 모듈 선택 공간에서 서로 가까이 뭉쳐져 있어, 작업 유사성의 효과적인 표현을 나타낸다.
• 관련 없는 작업들은 공유하지 않는 모듈을 유지함으로써 부정적 전이를 피한다.
• 고정된 공유 체계를 사용하는 기준 모델에 비해 텍스트 분류 및 시퀀스 레이블링 벤치마크에서 뛰어난 성능을 달성한다.
• 동시 온라인 업데이트 전략은 수렴성과 성능를 유지하면서도 학습 속도를 크게 가속화한다.
• 모듈 선택 순서의 시각화 결과는 인간이 제공한 구조 없이도 컨트롤러가 논리적이고 작업에 관련된 계층적 구조를 암묵적으로 학습하고 있음을 확인한다.