[논문 리뷰] Representation Stability as a Regularizer for Improved Text Analytics Transfer Learning

Matthew Riemer, Elham Khabiri외 1명|arXiv (Cornell University)|2017. 04. 12.

Topic Modeling참고 문헌 26인용 수 11

한 줄 요약

이 논문은 자연어 처리에서 순차적 전이 학습 동안 공유 표현을 안정화시키기 위해 망각 비용 정규화자를 제안하며, RNN에서 치명적인 기억 상실을 방지한다. 규칙 기반 감성 엔진을 포함한 여러 소스 태스크로부터 지식을 흡수하여 GRU 모델에 다듬는 방식으로, SemEval 2016 트위터 감성 분석에서 기존의 더 많은 데이터와 더 복잡한 아키텍처를 사용한 모델들을 능가하는 최신 성능을 달성한다.

ABSTRACT

Although neural networks are well suited for sequential transfer learning tasks, the catastrophic forgetting problem hinders proper integration of prior knowledge. In this work, we propose a solution to this problem by using a multi-task objective based on the idea of distillation and a mechanism that directly penalizes forgetting at the shared representation layer during the knowledge integration phase of training. We demonstrate our approach on a Twitter domain sentiment analysis task with sequential knowledge transfer from four related tasks. We show that our technique outperforms networks fine-tuned to the target task. Additionally, we show both through empirical evidence and examples that it does not forget useful knowledge from the source task that is forgotten during standard fine-tuning. Surprisingly, we find that first distilling a human made rule based sentiment engine into a recurrent neural network and then integrating the knowledge with the target task data leads to a substantial gain in generalization performance. Our experiments demonstrate the power of multi-source transfer techniques in practical text analytics problems when paired with distillation. In particular, for the SemEval 2016 Task 4 Subtask A (Nakov et al., 2016) dataset we surpass the state of the art established during the competition with a comparatively simple model architecture that is not even competitive when trained on only the labeled task specific data.

연구 동기 및 목표

• 텍스트 분석에서 사전 태스크의 유용한 지식이 미세조정 과정에서 사라지는 치명적인 기억 상실 문제를 해결하기 위해.
• 목표 태스크와 통합하는 동안 다수의 소스 태스크에서의 지식을 유지함으로써 모델의 일반화 능력을 향상시키기 위해.
• 인간이 만든 규칙 기반 감성 엔진을 신경망에 다듬는 것이 성능 향상에 기여하는지 탐색하기 위해.
• 표현 안정성과 함께 다중 소스 전이가 표준 미세조정보다 목표 태스크에서 더 나은 성능을 내는지 평가하기 위해.
• 다양한 전이 표현을 조합하는 앙상블 방법의 잠재력을 탐구하기 위해.

제안 방법

• 목표 태스크 학습 중 공유 표현 레이어의 변화를 방지하기 위해 망각 비용을 도입하여 안정성을 증진시킨다.
• 이전 데이터를 저장하지 않고도 재현을 시뮬레이션하기 위해 소스 태스크 전용 모델이 생성한 합성 예시를 사용해 지식 다듬기를 수행한다.
• 다중 태스크 목적 함수를 사용하여 목표 태스크의 교차 엔트로피 손실과 소스 모델 예측에서 유도된 다듬기 손실을 동시에 최소화한다.
• 미세조정 중 소스 모델과 목표 모델의 공유 은닉 표현 간 L2 거리 최소화를 통해 표현 안정성을 강제한다.
• 다양한 소스 태스크(예: 규칙 기반, 영화 리뷰, 이모티콘 예측)에서 전이된 모델의 예측을 적응형 평균화를 통해 조합하는 앙상블 전략을 사용한다.
• 모델 신뢰도에서 유도된 주의력 유사 가중치를 사용해 예측을 동적으로 조합함으로써 정확도를 향상시키고 강인성을 높인다.

실험 결과

연구 질문

• RQ1 망각 비용 정규화자가 순차적 전이 학습에서 텍스트 분석에 대해 치명적인 기억 상실을 효과적으로 줄일 수 있는가?
• RQ2 규칙 기반 감성 엔진을 신경망에 다듬는 것이 후행 태스크에서의 일반화 성능을 향상시키는가?
• RQ3 표현 안정성과 함께 다중 소스 전이가 표준 미세조정보다 목표 태스크에서 더 나은 성능을 내는가?
• RQ4 다양한 전이 표현을 조합하는 앙상블 방법이 개별 모델을 초월해 성능 향상에 얼마나 기여하는가?
• RQ5 다양한 소스 태스크의 지식과 다듬기를 조합함으로써 단순한 GRU 모델로 최신 성능을 달성할 수 있는가?

주요 결과

• 망각 비용 정규화자가 치명적인 기억 상실을 크게 줄였으며, 일반적인 미세조정 과정에서 흔히 손실되는 소스 태스크의 유용한 지식을 유지한다.
• 다듬어진 모델은 SemEval 2016 Task 4 Subtask A 테스트 세트에서 66.0%의 정확도를 기록하여, 더 단순한 50단위 GRU 아키텍처를 사용함에도 불구하고 이전 최신 성능(64.6%)을 초월했다.
• 다른 CNN 기반 복합 앙상블인 SwissCheese(다수의 CNN과 원거리 감독을 사용)보다 훨씬 적은 학습 데이터(10배 이상 적음)로도 성능을 뛰어넘었다.
• 규칙 기반 전이 모델을 다른 소스 태스크 모델과 앙상블하여 성능을 1.5% 향상시켰지만, 이론적 한계를 고려하면 더 큰 향상이 가능하다는 점을 시사한다.
• 전이 없이 목표 태스크 데이터만으로 학습된 모델은 정확도가 53.6%에 그쳐, 전이와 다듬기의 핵심적 역할을 입증한다.
• 이론적 분석에 따르면, 이상적인 모델 조합을 통해 네 개의 전이된 표현은 85.1%의 정확도에 도달할 수 있으며, 표현 통합의 잠재적 향상 여력이 크다는 점을 시사한다.