[논문 리뷰] Same Representation, Different Attentions: Shareable Sentence Representation Learning from Multiple Tasks

Renjie Zheng, Junkun Chen외 1명|arXiv (Cornell University)|2018. 04. 22.

Topic Modeling참고 문헌 18인용 수 7

한 줄 요약

이 논문은 모든 작업이 단일한 일반 문장 표현을 공유하고, 작업별로 특화된 어텐션 메커니즘을 사용해 관련 특징을 동적으로 선택하는 다중 작업 학습 프레임워크를 제안한다. 16개의 텍스트 분류 작업에서의 실험 결과, 이 방법은 성능 향상, 빠른 수렴, 이식성 향상에 기여하며, 특히 품사 태깅 및 추출 등 보조 작업이 포함된 경우 두드러진다.

ABSTRACT

Distributed representation plays an important role in deep learning based natural language processing. However, the representation of a sentence often varies in different tasks, which is usually learned from scratch and suffers from the limited amounts of training data. In this paper, we claim that a good sentence representation should be invariant and can benefit the various subsequent tasks. To achieve this purpose, we propose a new scheme of information sharing for multi-task learning. More specifically, all tasks share the same sentence representation and each task can select the task-specific information from the shared sentence representation with attention mechanism. The query vector of each task's attention could be either static parameters or generated dynamically. We conduct extensive experiments on 16 different text classification tasks, which demonstrate the benefits of our architecture.

연구 동기 및 목표

• 다양한 자연어 처리 작업에 적합한 일반적이고 이식 가능한 문장 표현의 부족을 해결하기 위해.
• 대규모 레이블링 데이터셋이 필요한, 새로 학습하는 작업별 특화된 표현의 한계를 극복하기 위해.
• 작업 간에 단일 문장 표현을 공유하면서도 작업별 특화된 특징 선택 기능을 허용함으로써 모델의 효율성과 성능을 향상시키기 위해.
• 보조 시퀀스 레이블링 작업(예: 품사 태깅, 추출)을 다중 작업 학습 프레임워크에 통합함으로써 이식성과 일반화 능력을 향상시키기 위해.

제안 방법

• 모든 작업이 공유 인코더(예: BiLSTM)를 통해 학습된 단일 공유 문장 표현을 사용하며, 작업별 표현 레이어를 제거한다.
• 각 작업은 학습 가능한 또는 동적으로 생성된 쿼리 벡터를 사용해 공유 표현의 작업에 관련된 부분에 어텐션을 집중시는 어텐션 메커니즘을 활용한다.
• 어텐션 메커니즘은 공유된 은닉 상태에 대해 가중치 합을 계산하여, 동일한 문장의 서로 다른 의미적 측면에 각 작업이 집중할 수 있도록 한다.
• 품사 태깅 및 추출과 같은 보조 작업은 주 분류 작업과 함께 공동으로 학습되며, 동일한 문장 인코딩 레이어를 공유한다.
• 분류 및 시퀀스 레이블링을 위한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 학습하며, 작업 간에 공유 파라미터를 사용한다.
• 아키텍처는 어텐션 분포의 시각화를 가능하게 하여, 각 작업에서 어떤 단어나 어구가 강조되는지를 파악할 수 있다.

실험 결과

연구 질문

• RQ1 일관된 공유 문장 표현을 다수의 자연어 처리 작업에 효과적으로 적용하면서도, 작업별 특화된 특징을 유지할 수 있는가?
• RQ2 공유 표현에서 어텐션 기반 특징 선택 방식이 기존의 전용-공유 아키텍처와 비교해 다중 작업 학습에서 어떤가?
• RQ3 보조 시퀀스 레이블링 작업이 하류 분류 작업을 위한 공유 문장 표현의 품질을 어느 정도 향상시킬 수 있는가?
• RQ4 기존의 다중 작업 학습 기준 모델과 비교해 제안된 모델이 더 빠른 수렴과 더 나은 일반화 성능을 달성하는가?

주요 결과

• 제안된 SA-MTL 모델은 16개의 감성 분류 작업에서 최신 기준 성능을 달성하며, SSP-MTL 및 PSP-MTL 기준 모델을 모두 능가한다.
• 추출 및 품사 태깅과 같은 보조 작업을 통합하면 성능 향상이 두드러지며, DA-MTL은 CoNLL-2000 데이터셋에서 평균 정밀도 89.04%를 기록한다.
• 공유 표현과 어텐션 기반 선택 덕분에 기존의 다중 작업 학습 아키텍처보다 더 빠른 수렴과 더 높은 파라미터 효율성을 확보한다.
• 시각화 결과, 감성 분류 작업에서는 'easy to use'와 같은 감성 관련 어구를 정확히 식별하고, 도메인 분류 작업에서는 'infantile cart'와 같은 도메인 관련 용어를 올바르게 인식함을 확인할 수 있다.
• 추출 작업 등 보조 작업을 통합해 학습한 모델는 더 뛰어난 강건성을 보이며, 전치사구와 동사구를 정확히 구분함으로써 모호한 경우에도 정확한 감성 예측을 수행한다.