[논문 리뷰] Learning Sentence Representation with Guidance of Human Attention

Shaonan Wang, Jiajun Zhang외 1명|arXiv (Cornell University)|2016. 09. 29.

Topic Modeling참고 문헌 36인용 수 10

한 줄 요약

이 논문은 인간의 독서 시간에 대한 인지 예측자인 놀라움, 품사 태그, CCG 슈퍼태그를 기반으로 단어 벡터에 가중치를 부여함으로써 문장 표현을 향상시키는 두 가지 새로운 어텐션 메커니즘—ATT-SUR 및 ATT-POS/CCG—을 제안한다. 이 모델들은 24개의 SemEval STS 데이터셋에서 성능을 크게 향상시키며, 추가적인 지도 학습 없이도 인간의 주의 패턴을 반영한 가중치 부여가 의미 있는 의미 표현을 향상시킬 수 있음을 보여준다.

ABSTRACT

Recently, much progress has been made in learning general-purpose sentence representations that can be used across domains. However, most of the existing models typically treat each word in a sentence equally. In contrast, extensive studies have proven that human read sentences efficiently by making a sequence of fixation and saccades. This motivates us to improve sentence representations by assigning different weights to the vectors of the component words, which can be treated as an attention mechanism on single sentences. To that end, we propose two novel attention models, in which the attention weights are derived using significant predictors of human reading time, i.e., Surprisal, POS tags and CCG supertags. The extensive experiments demonstrate that the proposed methods significantly improve upon the state-of-the-art sentence representation models.

연구 동기 및 목표

• 독서 행동에서 관찰된 인간의 주의 역학을 통합하여 문장 표현 모델을 향상시키는 것.
• 기존 모델이 모든 단어를 동일하게 취급하는 데서 비롯되는 한계를 해결하여 인간의 선택적 주의 패턴과 모순되지 않는 것.
• 독서 시간의 인지 예측자인 독서 시간 예측자들을 사용하여 작업에 종속되지 않는 문장 수준의 표현을 위한 어텐션 메커니즘을 개발하는 것.
• 놀라움, 품사 태그, CCG 슈퍼태그와 같은 예측자가 어텐션을 효과적이고 해석 가능한 방식으로 이끌 수 있는지 평가하는 것.
• 인간의 독서 행동에 기반한 어텐션을 통해 의미 텍스트 유사도 작업에서 성능 향상이 이루어지는지 보여주는 것.

제안 방법

• ATT-SUR 모델은 단어의 놀라움 값—정보량을 측정하는 지표—를 직접적으로 문장 표현 내 단어 벡터의 어텐션 가중치로 사용한다.
• ATT-POS 및 ATT-CCG 모델은 품사 태그와 CCG 슈퍼태그를 위한 학습 가능한 임베딩 벡터를 사용하며, 이는 학습된 어テン션 메커니즘을 통해 어텐션 가중치를 계산한다.
• 주의 가중치가 부여된 문장 표현은 단어 임베딩의 가중합으로 계산되며, 이 가중치는 학습된 어텐션 모듈이 아닌 인지 예측자에서 유도된다.
• 제안된 어텐션 모듈은 강력한 비지도 문장 표현 기준 모델인 시아미즈 CBOW(SCBOW) 모델에 통합된다.
• 모델은 SCBOW 목적함수를 기반으로 엔드 투 엔드로 훈련되며, 코퍼스 내 문장의 인접성 예측을 위해 다항 교차 엔트로피를 사용한다.
• 이 방법은 일반화 가능하며, SCBOW 기준 모델 외의 다른 문장 표현 모델에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 놀라움과 품사 태그와 같은 인간 독서 시간의 인지 예측자를 사용하여 문장 표현 모델의 어텐션을 이끌 수 있는가?
• RQ2 인간의 주의 역학을 통합함으로써 다양한 도메인에서 문장 임베딩의 의미적 품질이 향상되는가?
• RQ3 인지 요소에서 유도된 어텐션 가중치와 신경망 기반 어텐션 메커니즘의 가중치는 해석 가능성과 성능 측면에서 어떻게 비교되는가?
• RQ4 이러한 어텐션 모델이 실제 인간의 독서 시간을 얼마나 잘 예측할 수 있는가? 이는 인지적으로 타당한가를 검증하는 데 기여한다.
• RQ5 예를 들어 놀라움 + 품사 태그와 같은 다수의 인지 예측자를 통합하면 성능 향상이 추가로 이루어지는가?

주요 결과

• 제안된 ATT-SUR 및 ATT-POS/CCG 모델은 SemEval 데이터셋 24개 중 23개에서 SCBOW 기준 모델보다 유의미한 성능 향상을 보였다.
• 놀라움과 품사 태그와 같은 인지 요소에 기반한 어텐션은 더 견고하고 의미적으로 더 유의미한 문장 표현을 이끌어낸다.
• 정성적 분석을 통해 어텐션 가중치가 명사와 동사와 같은 의미가 풍부한 단어에 집중하는 것으로 확인되었으며, 이는 인간의 시선 정지 패턴과 일치한다.
• 모델들은 인간의 독서 시간을 성공적으로 예측하였으며, 눈동자 추적 데이터에서 예측된 어텐션 가중치와 실제 시선 정지 지속 시간 간 상관관계가 관찰되었다.
• SIF 가중치와 제안된 어텐션 모델을 결합하면 성능 향상이 추가로 이루어졌으며, 이는 서로 보완적인 정보를 캡처한다는 것을 시사한다.
• 결과적으로 인간의 독서 행동에서 유도된 인지 신호는 NLP 모델 향상에 효과적이고 확장 가능한 인덕티브 바이어스로 기능할 수 있음을 시사한다.