[논문 리뷰] Transfer Learning for Sequences via Learning to Collocate

Wanyun Cui, Guangyu Zheng외 3명|arXiv (Cornell University)|2019. 02. 25.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 시퀀스 전용으로 설계된 새로운 전이학습 프레임워크인 ART(Aligned Recurrent Transfer)를 제안한다. 이는 주어진 도메인 간 단어의 공존 관계를 주의 메커니즘을 통해 학습함으로써 세밀한 셀 수준의 정보 전이를 가능하게 한다. 소스 도메인의 시퀀스에서 대응하는 위치와 공존하는 위치의 은닉 상태를 타겟 도메인의 각 RNN 셀에 정렬하고 전이함으로써, ART는 시퀀스 태깅 및 분류 작업에서 성능을 향상시키며, 최대 F1 점수로 2.2% 향상된 최신 기술을 초월한다.

ABSTRACT

Transfer learning aims to solve the data sparsity for a target domain by applying information of the source domain. Given a sequence (e.g. a natural language sentence), the transfer learning, usually enabled by recurrent neural network (RNN), represents the sequential information transfer. RNN uses a chain of repeating cells to model the sequence data. However, previous studies of neural network based transfer learning simply represents the whole sentence by a single vector, which is unfeasible for seq2seq and sequence labeling. Meanwhile, such layer-wise transfer learning mechanisms lose the fine-grained cell-level information from the source domain. In this paper, we proposed the aligned recurrent transfer, ART, to achieve cell-level information transfer. ART is under the pre-training framework. Each cell attentively accepts transferred information from a set of positions in the source domain. Therefore, ART learns the cross-domain word collocations in a more flexible way. We conducted extensive experiments on both sequence labeling tasks (POS tagging, NER) and sentence classification (sentiment analysis). ART outperforms the state-of-the-arts over all experiments.

연구 동기 및 목표

• 층 수준의 전이학습이 세밀한 셀 수준의 정보를 손실하고, seq2seq 및 시퀀스 태깅 작업에 적용하기에 부적절한 점을 해결하기 위해.
• 대규모이자 도메인에 관계없는 사전 훈련 코퍼스 대신 도메인 관련이고 소규모의 사전 훈련 코퍼스를 활용하여 저자원 도메인에서의 전이학습을 향상시키기 위해.
• 주의 메커니즘을 통해 도메인 간 단어의 공존 관계를 학습함으로써 장기적 의존성을 모델링하기 위해.
• 소스 도메인의 맥락적으로 관련된 정보를 통합함으로써 타겟 도메인에서 단어의 더 정밀한 의미 표현을 가능하게 하기 위해.

제안 방법

• ART는 타겟 도메인의 각 RNN 셀이 소스 도메인의 동일한 위치와 모든 위치의 은닉 상태를, 학습된 주의 점수에 따라 가중치를 적용하여 수신하도록 확장한다.
• 주의 메커니즘은 타겟 및 소스 시퀀스의 위치 간 정렬 점수를 계산하여 의미적으로 공존하는 단어를 식별함으로써 장거리 의존성의 전이를 가능하게 한다.
• 모델은 사전 훈련 및 미세조정 프레임워크를 사용한다: 먼저 도메인 특화된 소스 코퍼스에서 사전 훈련을 수행하고, 이후 레이블이 있는 타겟 도메인 데이터로 미세조정한다.
• 각 타겟 단어에 대해 ART는 소스의 대응 위치 상태와 모든 소스 은닉 상태의 가중치 합을 조합하며, 이 가중치는 주의 점수에 의해 결정된다.
• 이 방법은 장기 기억(셀 상태 c)과 단기 기억(은닉 상태 h) 양쪽 모두의 메모리 전이를 지원하여 구분 가능한 특징 학습을 가능하게 한다.
• ART는 다양한 시퀀스 작업에 일반화 가능하며, 품사 태깅, NER, 감성 분석 등에 적용 가능하다.

실험 결과

연구 질문

• RQ1 층 수준의 전이학습에 비해 셀 수준의 정보 전이가 시퀀스 태깅 및 seq2seq 작업 성능 향상에 기여하는가?
• RQ2 주의 기반 정렬이 도메인 간 단어의 공존 관계를 효과적으로 포착하여 장기적 의존성을 모델링하는 데 얼마나 유용한가?
• RQ3 소규모 도메인 특화 사전 훈련 코퍼스에서의 사전 훈련이 저자원 타겟 도메인에서 대규모 도메인에 관계없는 사전 훈련보다 우수한가?
• RQ4 타겟 도메인 훈련 데이터가 제한되어 있을 때조차 ART가 소스 도메인에서 세밀한 의미 정보를 전이할 수 있는가?

주요 결과

• ART는 평가된 모든 시퀀스 태깅 작업에서 최신 기술을 초월하며, PTB에서 Twitter/0.1로 전이할 때 HRN 대비 F1 점수로 최대 2.2% 향상되었다.
• ART는 모든 설정에서 최고 성능을 기록했으며, 특히 타겟 도메인 데이터가 중간 정도로 확보된 경우(예: Twitter/0.1)에서 FLORS를 능가하는 성능을 보였다.
• 주의 행렬의 시각화 결과, ART는 'pleased', 'easy to move'와 같이 의미적으로 유의미한 단어들을 강조하여 효과적인 공존 관계 학습을 수행하고 있음을 확인했다.
• 장기 기억(c)과 단기 기억(h)의 주의 패턴이 다르게 나타나, ART가 각 메모리 유형에 대해 별개의 구분 가능한 특징을 포착하고 있음을 보여주었다.
• ART는 'sometimes'와 'hate'처럼 인접하지 않은 단어 간의 장거리 의존성을 효과적으로 모델링하여, 저자원 환경에서 의미 이해도를 향상시켰다.
• 소스 도메인과 타겟 도메인이 유사할 경우, 도메인 관련 소규모 사전 훈련이 대규모 도메인에 관계없는 사전 훈련보다 더 효과적일 수 있음을 보여주었다.