[논문 리뷰] Multi-Head Multi-Layer Attention to Deep Language Representations for Grammatical Error Detection

Masahiro Kaneko, Mamoru Komachi|arXiv (Cornell University)|2019. 04. 15.

Natural Language Processing Techniques참고 문헌 10인용 수 6

한 줄 요약

이 논문은 BERT의 중간층과 최종층을 활용하여 문법 오류 검출(GED) 성능을 향상시키는 다중 헤드 다중 레이어 어텐션(MHMLA) 기반 메커니즘을 제안한다. 여러 레이어를 통해 다중 헤드 어텐션을 적용하여 작업에 특화된 표현을 학습함으로써, FCE(+6.0), CoNLL14(+8.2), JFLEG(+12.2) 벤치마크에서 기존 SOTA 및 BERT-base를 능가하는 최신 기술 수준의 F₀.₅ 점수를 달성한다.

ABSTRACT

It is known that a deep neural network model pre-trained with large-scale data greatly improves the accuracy of various tasks, especially when there are resource constraints. However, the information needed to solve a given task can vary, and simply using the output of the final layer is not necessarily sufficient. Moreover, to our knowledge, exploiting large language representation models to detect grammatical errors has not yet been studied. In this work, we investigate the effect of utilizing information not only from the final layer but also from intermediate layers of a pre-trained language representation model to detect grammatical errors. We propose a multi-head multi-layer attention model that determines the appropriate layers in Bidirectional Encoder Representation from Transformers (BERT). The proposed method achieved the best scores on three datasets for grammatical error detection tasks, outperforming the current state-of-the-art method by 6.0 points on FCE, 8.2 points on CoNLL14, and 12.2 points on JFLEG in terms of F_0.5. We also demonstrate that by using multi-head multi-layer attention, our model can exploit a broader range of information for each token in a sentence than a model that uses only the final layer's information.

연구 동기 및 목표

• 사전에 학습된 언어 모델인 BERT의 최종 레이어 외에도 중간 레이어가 문법 오류 검출에 유용한 정보를 담고 있는지 조사하는 것.
• 사전에 학습된 모델의 여러 레이어에서 작업에 특화된 표현을 학습하여 GED 성능을 향상시키는 것.
• BERT의 다양한 레이어 간의 정보를 효과적으로 통합하여 GED에서 더 나은 문맥 표현을 얻기 위한 메커니즘을 설계하는 것.
• 다중 레이어에 걸친 다중 헤드 어텐션을 통해 각 토큰이 더 넓고 효과적으로 정보를 활용할 수 있음을 입증하는 것.

제안 방법

• 제안된 MHMLA 모델은 BERT의 여러 레이어에서 얻은 은닉 표현에 다중 헤드 어텐션을 적용하여, 각 토큰이 동적으로 다른 레이어에 집중할 수 있도록 한다.
• 모델은 GED 데이터에 대해 BERT-base의 모든 파라미터를 미세조정하며, 엔드 투 엔드 학습을 통해 작업에 특화된 표현을 학습한다.
• 다중 헤드 어텐션은 여러 하위 공간을 통해 어텐션 스코어를 계산하여, 동시에 다양한 레이어에 집중하고 다양한 언어적 특징을 포착할 수 있도록 한다.
• 어텐션 메커니즘은 가중치 파라미터를 사용하여 다양한 레이어의 표현을 가중합으로 계산하며, 헤드 수는 레이어 활용의 정밀도를 결정한다.
• 어텐션 스코어에 기반한 레이어 표현의 가중합을 사용하며, 각 헤드는 서로 다른 조합의 레이어에 집중하도록 학습한다.
• 모델은 표준 BERT-base 아키텍처에 MHMLA 레이어를 추가하여, FCE, CoNLL14, JFLEG 세 개의 GED 데이터셋에서 엔드 투 엔드로 훈련된다.

(a) BERT.

실험 결과

연구 질문

• RQ1 BERT의 중간 레이어는 최종 레이어 외에도 문법 오류 검출에 보완적인 정보를 제공할 수 있는가?
• RQ2 다중 헤드 다중 레이어 어텐션은 여러 레이어의 표현을 효과적으로 활용하여 GED 성능을 향상시키는가?
• RQ3 어 attention 헤드의 수가 모델이 다양한 레이어에 집중하는 능력과 정확도 향상에 미치는 영향은 어떠한가?
• RQ4 최종 레이어만 사용하거나 레이어 평균을 취하는 것과 비교해 볼 때, MHMLA를 사용할 경우 성능 향상이 뚜렷한가?
• RQ5 MHMLA는 오류 검출에 관련된 문법적 및 의미적 역할을 하는 레이어에 집중할 수 있는가?

주요 결과

• MHMLA 모델은 FCE, CoNLL14, JFLEG 세 벤치마크에서 모두 최신 기술 수준의 F₀.₅ 점수를 기록했으며, 각각 FCE에서 이전 SOTA보다 6.0점, CoNLL14에서 8.2점, JFLEG에서 12.2점 높은 점수를 기록했다.
• MHMLA는 FCE, CoNLL14-{1,2}, JFLEG에서 각각 BERT-base보다 F₀.₅ 점수로 2.18, 1.29, 0.81, 1.32점 높은 성능을 보였다.
• 12개의 헤드를 가진 모델은 CoNLL14와 JFLEG에서 가장 높은 F₀.₅ 점수를 기록했고, FCE에서는 3개의 헤드가 최적의 성능을 보였으며, 이는 헤드 수가 레이어 집중 분포에 영향을 준다는 것을 시사한다.
• 시각화 결과, 8개 또는 12개의 헤드를 사용할 경우 MHMLA가 모든 레이어에 균일하게 집중하는 것으로 나타나, 더 넓은 정보 활용이 이루어졌음을 확인했다.
• AvgL 기준선(레이어 표현을 단순 평균화하는 방식)은 MHMLA에 비해 성능이 열 劣하였으며, 이는 학습된 어텐션 방식이 고정된 평균화보다 더 효과적임을 입증한다.
• 어텐션 시각화 결과, MHMLA가 실제로 여러 레이어에 집중하는 것을 확인했으며, 특히 헤드 수가 많을수록 균형 잡힌 레이어 활용이 이루어졌음을 확인했다.

(b) MHMLA.