[논문 리뷰] Neural Simile Recognition with Cyclic Multitask Learning and Local Attention

Jiali Zeng, Linfeng Song외 4명|arXiv (Cornell University)|2019. 12. 19.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 신경적 은유 인식을 위한 국소적 주의 메커니즘을 갖춘 순환 다중작업 학습 프레임워크를 제안하며, 은유 문장 분류와 구성 요소 추출 간의 상호작용을 반복적으로 피드백함으로써 상호작용을 강화한다. 이 방법은 주로 BERT를 사용할 경우 상태의 기술(SOTA) 모델을 크게 능가하며, 순환 정보 흐름을 통해 양방향 작업 간 상호작용을 모델링하고 주의 집중도를 향상시킨다.

ABSTRACT

Simile recognition is to detect simile sentences and to extract simile components, i.e., tenors and vehicles. It involves two subtasks: {\it simile sentence classification} and {\it simile component extraction}. Recent work has shown that standard multitask learning is effective for Chinese simile recognition, but it is still uncertain whether the mutual effects between the subtasks have been well captured by simple parameter sharing. We propose a novel cyclic multitask learning framework for neural simile recognition, which stacks the subtasks and makes them into a loop by connecting the last to the first. It iteratively performs each subtask, taking the outputs of the previous subtask as additional inputs to the current one, so that the interdependence between the subtasks can be better explored. Extensive experiments show that our framework significantly outperforms the current state-of-the-art model and our carefully designed baselines, and the gains are still remarkable using BERT.

연구 동기 및 목표

• 은유 인식 하위작업 간의 상호작용을 포괄하지 못하는 표준 다중작업 학습의 한계를 해결하기 위해.
• 비교어 주변 국소적 문맥에 집중함으로써 전역 주의 메커니즘으로 인한 주의 오류를 줄이기 위해.
• 작업 간 순환적 정보 흐름을 통해 은유 구성 요소 추출 및 문장 분류의 정확도를 향상시키기 위해.
• 표준 또는 디코딩 기반 MTL과 비교해 볼 때, 순환 정보 전파가 은유 분류와 구성 요소 추출 간 상호의존성을 더 잘 모델링할 수 있는지 탐색하기 위해.
• 특히 BERT 기반 인코더를 사용할 경우 중국어 은유 인식에 대한 이 프레임워크의 효과성을 평가하기 위해.

제안 방법

• 은유 문장 분류와 구성 요소 추출을 순환 구조로 구성하여, 한 작업의 출력을 다음 작업의 입력으로 순차적으로 피드백한다.
• 비교어 중심의 단어 표현에 국소적 주의 메커니즘을 적용하여 관련 문맥에 대한 집중도를 높이고 먼 단어에서 오는 노이즈를 줄인다.
• 구성 요소 추출의 시퀀스 레이블링을 위해, 단어 표현과 국소적 주의 레이어의 주의 가중치를 연결한 후 CRF에 전달한다.
• 문장 디코더를 사용해 입력 문장을 재구성하며, 디코더 상태를 단어 표현과 결합하여 다음 분류 단계에 정보를 제공한다.
• 순환 설계 덕분에 K 반복 동안 각 하위작업이 다른 모든 작업의 출력으로부터 점진적으로 이점을 얻을 수 있으며, 이로 인해 상호작용 모델링 능력이 향상된다.
• 공유된 양방향 LSTM 인코더와 분류 및 추출을 위한 공동 최적화 목표 함수를 사용해 종단 간(end-to-end)으로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 은유 인식 하위작업 간 순환 정보 흐름이 표준 다중작업 학습보다 성능 향상에 기여하는가?
• RQ2 비교어 주변의 국소적 주의가 주의 오류를 줄이고 관련 은유 구성 요소에 더 집중하는가?
• RQ3 제안된 프레임워크는 특히 BERT로 미세조정된 경우 최신 기술(SOTA) 모델과 비교해 어떻게 성능을 내는가?
• RQ4 은유 분류와 구성 요소 추출 간 상호의존성이 전체 인식 정확도 향상에 얼마나 기여하는가?
• RQ5 순환 MTL 설계는 강한 하위작업 간 의존성을 보이는 다른 NLP 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 순환 다중작업 학습 프레임워크는 중국어 은유 인식 벤치마크에서 현재 최신 기술(SOTA) 모델을 크게 능가하는 성능 향상을 달성한다.
• 표준 다중작업 학습 및 철저히 설계된 베이스라인보다도 성능이 뛰어나며, BERT를 백본 인코더로 사용할 경우에도 여전히 뚜렷한 성능 향상이 유지된다.
• 국소적 주의는 비교어에서 멀리 떨어진 불필요한 단어들로부터 오는 주의 간섭을 줄여주며, 제한된 국소 창문에 집중함으로써 효과를 발휘한다.
• 순환 설계 덕분에 은유 분류와 구성 요소 추출 간의 이중 방향 의존성을 더 잘 모델링할 수 있었으며, 이는 양 작업의 F1 점수 향상으로 입증되었다.
• 제거 실험(ablation study) 결과, 순환 정보 흐름과 국소적 주의 모두 성능 향상에 독립적으로 기여하며 상호 보완적인 효과를 가짐을 확인했다.
• 이 프레임워크는 강력한 일반화 잠재력을 보이며, 체계적 감성 분석과 같은 다른 다중작업 NLP 작업에 유망한 응용 가능성을 제시한다.