[논문 리뷰] Modeling Task Effects in Human Reading with Neural Attention

Michael Hahn, Frank Keller|arXiv (Cornell University)|2018. 07. 31.

Topic Modeling참고 문헌 62인용 수 9

한 줄 요약

이 논문은 인간 독서 행동, 특히 단어 건너뛰기 현상을 설명하기 위해 임무 특화 주의와 기억 기반 학습을 통합한 신경망 모델을 제안한다. 임무 성능와 고정 횟수 감소 사이의 트레이드오프를 최적화함으로써, 모델은 인간의 건너뛰기 패턴과 독서 시간을 정확히 예측하며, 단어의 40퍼센트를 건너뛰는 것도 가능하다. 이는 신경망 기반 질문 응답 실험을 통해 임무에 따라 달라지는 건너뛰기 행동을 검증한 것이다.

ABSTRACT

Humans read by making a sequence of fixations and saccades. They often skip words, without apparent detriment to understanding. We offer a novel explanation for skipping: readers optimize a tradeoff between performing a language-related task and fixating as few words as possible. We propose a neural architecture that combines an attention module (deciding whether to skip words) and a task module (memorizing the input). We show that our model predicts human skipping behavior, while also modeling reading times well, even though it skips 40% of the input. A key prediction of our model is that different reading tasks should result in different skipping behaviors. We confirm this prediction in an eye-tracking experiment in which participants answers questions about a text. We are able to capture these experimental results using the our model, replacing the memorization module with a task module that performs neural question answering.

연구 동기 및 목표

• 독자가 이해에 필수적이지 않은 상황에서도 단어를 건너뛰는 이유를 설명하는 것.
• 임무 요구사항이 인간 독서에서 단어 건너뛰기 행동에 미치는 영향을 모델링하는 것.
• 임무 성능와 고정 횟수 감소를 동시에 최적화하는 신경망 아키텍처를 개발하는 것.
• 다양한 독서 임무 조건 하에서 모델 예측을 인간의 눈동자 추적 데이터로 검증하는 것.
• 임무 특화 신경망 기반 질문 응답이 인간의 단어 건너뛰기 행동을 재현할 수 있음을 보여주는 것.

제안 방법

• 임무 관련성에 따라 어떤 단어를 건너뛸지 결정하는 신경망 주의 모듈을 통합한다.
• 질문 응답과 같은 특정 독서 임무를 위해 입력을 기억하고 처리하는 임무 모듈을 사용한다.
• 학습 중에 임무 성능와 고정 횟수 감소 사이의 트레이드오프를 최적화한다.
• 주의 가중치가 건너뛰기 결정을 내리는 방식으로 텍스트 시퀀스 전체에 대해 엔드 투 엔드로 모델을 훈련시킨다.
• 기억 모듈을 임무 특화 독서를 시뮬레이션하기 위해 신경망 기반 질문 응답 헤드로 대체한다.
• 통제된 실험에서 확보한 인간의 눈동자 추적 데이터와 비교하여 모델의 예측을 평가한다.

실험 결과

연구 질문

• RQ1 임무 요구사항이 인간 독서에서 단어 건너뛰기 행동에 어떤 영향을 미치는가?
• RQ2 임무 성능와 고정 횟수 감소를 균형 잡는 신경망 모델이 인간의 건너뛰기 패턴을 예측할 수 있는가?
• RQ3 모델의 건너뛰기 행동이 다양한 독서 임무 간에 의미 있게 다를 수 있는가?
• RQ4 신경망 기반 질문 응답 모듈이 임무 특화 독서에서 인간과 유사한 건너뛰기 행동을 재현할 수 있는가?
• RQ5 모델이 실제 인간의 독서 시간과 고정 패턴을 어느 정도 정확히 예측할 수 있는가?

주요 결과

• 모델은 입력 단어의 40퍼센트를 건너뛰는 상황에서도 인간의 단어 건너뛰기 행동을 높은 정확도로 정확히 예측한다.
• 모델은 독서 시간을 잘 예측하여 인간 독서 패턴과 강한 일치를 보인다.
• 눈동자 추적 실험 결과, 다양한 독서 임무가 서로 다른 건너뛰기 행동을 유도함을 확인하여, 모델의 核심 예측이 검증된다.
• 기억 모듈을 신경망 기반 질문 응답 헤드로 대체함으로써, 참가자들이 보인 임무에 따라 달라지는 건너뛰기 행동을 모델이 재현할 수 있다.
• 모델의 주의 메커니즘이 임무 관련 단어를 효과적으로 식별하여, 이해도 손상 없이 고정 횟수를 줄인다.
• 임무 성능와 고정 횟수 감소 사이의 트레이드오프가 인간 독서 전략의 핵심 요인임을 규명한다.