[논문 리뷰] Bidirectional Context-Aware Hierarchical Attention Network for Document Understanding

Jean-Baptiste Remy, Antoine J.‐P. Tixier외 1명|arXiv (Cornell University)|2019. 08. 16.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 문맥 인식형 계층적 어텐션 네트워크(CAHAN)를 제안하며, 계층적 어텐션 네트워크(HAN)의 문장 수준 어텐션에 주변 문서 문맥을 고려하도록 개선한다. 이중 방향 문서 인코딩과 문맥 인식형 문장 인코딩을 도입함으로써 CAHAN은 문서 표현을 향상시켜 계산량의 최소한도 증가로도 감성 및 주제 분류 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

The Hierarchical Attention Network (HAN) has made great strides, but it suffers a major limitation: at level 1, each sentence is encoded in complete isolation. In this work, we propose and compare several modifications of HAN in which the sentence encoder is able to make context-aware attentional decisions (CAHAN). Furthermore, we propose a bidirectional document encoder that processes the document forwards and backwards, using the preceding and following sentences as context. Experiments on three large-scale sentiment and topic classification datasets show that the bidirectional version of CAHAN outperforms HAN everywhere, with only a modest increase in computation time. While results are promising, we expect the superiority of CAHAN to be even more evident on tasks requiring a deeper understanding of the input documents, such as abstractive summarization. Code is publicly available.

연구 동기 및 목표

• 문서의 주변 문맥을 활용하지 못하는 HAN의 한계를 해결한다.
• 이전 및 이후 문장을 기반으로 문장 인코더가 어텐션 결정을 내릴 수 있도록 함으로써 문서 표현을 향상시킨다.
• 문장을 앞뒤로 모두 처리하여 더 풍부한 문맥적 종속성을 포착하는 이중 방향 문서 인코더를 도입한다.
• 대규모 감성 및 주제 분류 데이터셋에서 제안된 모델을 평가하여 HAN 대비 성능 향상을 입증한다.
• 개념 요약과 같은 더 깊은 텍스트 이해가 필요한 작업에서 CAHAN의 잠재력을 탐색한다.

제안 방법

• 문서에서 유도된 문맥 벡터에 조건을 두어 문장 수준 어텐션을 조절하는 CAHAN-SUM 및 CAHAN-RNN 변종을 제안한다.
• 두 개의 별도 RNN을 사용한 이중 방향 문서 인코더를 도입한다—하나는 문서를 정방향으로 처리하고, 다른 하나는 역방향으로 처리하며, 각각의 은닉 상태를 상대방의 문맥으로 사용한다.
• 문서의 문장 표현에 대해 평균 풀링(CAHAN-SUM) 또는 순환적 문맥 모델링(CAHAN-RNN)을 통해 문맥 벡터를 계산한다.
• 문맥 인식형 문장 인코딩을 HAN 프레임워크에 통합하기 위해 문장 인코더를 수정하여 단어 수준 특징과 문서 수준 문맥 양쪽에 주의를 기울이게 한다.
• 확률적 경사 하강법(SGD)을 사용해 모델을 엔드 투 엔드로 훈련하며, 문맥 인식형 문장 인코딩 이후에 문서 수준 어텐션 메커니즘을 적용한다.
• 문장 및 문서 인코더 모두에 공통된 아키텍처를 사용하며, 양방향 RNN과 자기 어텐션 메커니즘을 기반으로 한다.

실험 결과

연구 질문

• RQ1 문맥 인식형 문장 인코딩은 계층적 어텐션 네트워크에서 문서 표현을 향상시킬 수 있는가?
• RQ2 이중 방향 문서 인코딩은 분류 작업에서 단방향 또는 표준 HAN보다 더 높은 성능을 내는가?
• RQ3 짧고 단순한 문서와 길고 복잡한 문서를 가진 데이터셋에서 CAHAN의 성능은 어떻게 되는가?
• RQ4 문맥 인식 메커니즘은 문서 내 다양한 주제의 커버리지 향상과 재현성 감소에 어느 정도 기여하는가?
• RQ5 개념 요약과 같은 더 깊은 텍스트 이해가 필요한 작업에서 CAHAN의 이점은 더욱 두드러지는가?

주요 결과

• CAHAN의 이중 방향 버전은 세 가지 감성 및 주제 분류 데이터셋에서 원래 HAN보다 모두 뛰어난 성능을 보였다.
• CAHAN-SUM은 반복적인 특징에 대한 어텐션을 줄임으로써 HAN보다 더 뛰어난 성능을 달성했다.
• 식품 품질, 서비스, 가격과 같은 다양한 주제에 대한 커버리지가 향상되어 반복적인 부정적 어휘에 대한 과도한 어텐션을 피하는 데 성공했다.
• 반복 문장이 존재하는 경우, CAHAN은 HAN의 반복적인 출력과는 달리 더 다양한 정보를 담은 표현을 생성했다.
• CAHAN에서 유도된 계산량의 증가는 미미하여 실세계 적용에 실용적이다.
• 저자들은 CAHAN의 이점이 더 긴 문서나 개념 요약과 같은 깊은 이해가 필요한 작업에서 더욱 두드러질 것이라고 가설을 제시한다.