[논문 리뷰] Deep Multi-Task Learning with Shared Memory

Pengfei Liu, Xipeng Qiu외 1명|arXiv (Cornell University)|2016. 09. 23.

Topic Modeling참고 문헌 32인용 수 34

한 줄 요약

이 논문은 관련된 텍스트 분류 작업 간에 외부 메모리를 공유함으로써 성능을 햖थ하는 두 가지 딥 다중작업 학습 아키텍처를 제안한다. 작업별로 특화된 LSTM 출력과 공유 메모리 표현을 선택적으로 조합하는 융합 게이트를 통합함으로써, 특히 자원이 부족한 작업에서 일반화 성능을 향상시키며, 감성 분류 및 텍스트 분류 벤치마크에서 뚜렷한 정확도 향상을 보인다.

ABSTRACT

Neural network based models have achieved impressive results on various specific tasks. However, in previous works, most models are learned separately based on single-task supervised objectives, which often suffer from insufficient training data. In this paper, we propose two deep architectures which can be trained jointly on multiple related tasks. More specifically, we augment neural model with an external memory, which is shared by several tasks. Experiments on two groups of text classification tasks show that our proposed architectures can improve the performance of a task with the help of other related tasks.

연구 동기 및 목표

• 신경망 모델이 NLP 작업에 대해 훈련 데이터가 부족한 문제를 해결한다.
• 다양한 관련된 텍스트 분류 작업을 함께 학습시켜 모델의 일반화 성능을 향상시킨다.
• 외부 공유 메모리 메커니즘을 통해 작업 간 지식 전이를 가능하게 한다.
• 작업별 특화된 표현과 공유 표현을 혼동하지 않는 유연하고 느슨하게 결합된 다중작업 프레임워크를 설계한다.
• 융합 게이트 분석을 통해 공유 메모리가 특정 작업 예측에 어떻게 영향을 주는지 해석 가능성을 제공한다.

제안 방법

• 다양한 작업 간 장기 지식을 저장하기 위해 작업별 특화된 LSTMs에 외부 공유 메모리를 추가한다.
• 학습 가능한 융합 게이트가 공유 메모리에서 온 정보 흐름을 제어하는 깊이 있는 융합 메커니즘을 도입한다.
• 작업 입력에 기반해 공유 메모리에 접근하고 업데이트하기 위한 미분 가능한 읽기 및 쓰기 메커니즘을 사용한다.
• 모든 작업에 걸쳐 공동 다중작업 목적 함수를 사용해 전체 아키텍처를 엔드 투 엔드로 훈련시킨다.
• 시퀀스 모델링을 향상시키고 주의 메커니즘의 시각화를 가능하게 하기 위해 양방향 LSTMs를 활용한다.
• 학습을 통해 메모리 기여도를 조절할 수 있는 융합 게이트를 사용하여 공유 지식의 선택적이고 적응적인 활용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 제한된 상황에서 공유 외부 메모리가 다중작업 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ2 융합 게이트 메커니즘이 공유 메모리 정보를 작업별 특화 표현에 통합하는 방식은 어떻게 제어되는가?
• RQ3 관련 작업에서의 지식이 자원이 부족한 작업의 성능 향상에 얼마나 기여하는가?
• RQ4 모델이 입력 내용과 작업 맥락에 따라 공유 메모리를 선택적으로 활용할 수 있는가?
• RQ5 공유 메모리 메커니즘이 모델의 해석 가능성과 암묵적인 언어 패턴 이해에 어떻게 기여하는가?

주요 결과

• 제안된 모델은 단일작업 및 표준 다중작업 기준 모델 대비 감성 분류 및 텍스트 분류 작업에서 뚜렷한 성능 향상을 달성한다.
• SST-2 데이터셋에서 ARC-I 모델은 베이직 LSTM 및 표준 다중작업 모델을 초월하여 자원이 부족한 예제에서 더 우수한 일반화 성능을 보여준다.
• 사례 연구 결과, 융합 게이트가 'cookie-cutter' 및 'cut-and-paste'와 같은 정보성 단어에서 강하게 활성화됨을 확인하여, 감성 예측에 효과적으로 공유 메모리를 활용하고 있음을 시사한다.
• 표준 LSTMs가 포착하지 못하는 복잡한 문장인 'If you were not nearly moved...'의 암묵적 감성까지 정확히 식별한다.
• 융합 게이트 활성화 시각화 결과, 공유 메모리가 문장 구조에 대한 추론 능력을 향상시키기 위해 문법 패턴과 암묵적 否정을 학습하는 데 기여함을 확인한다.
• 융합 게이트 메커니즘이 예측 과정에서 공유 지식이 언제 그리고 어떻게 접근되는지 해석 가능성을 제공한다.