[논문 리뷰] Iterative Hierarchical Attention for Answering Complex Questions over Long Documents

Haitian Sun, William W. Cohen외 1명|arXiv (Cornell University)|2021. 06. 01.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 긴 구조적 문서에서 복잡하고 다단계 질문에 답하기 위해 연속된 임bedding 공간에서 쿼리를 업데이트하는 방식으로, 텍스트를 연결하는 방식이 아닌 새로운 반복적 계층적 어텐션 모델인 DocHopper를 제안한다. 이는 QASPER, HybridQA, ShARC, HotpotQA 네 가지 벤치마크 데이터셋에서 최고 성능을 기록하며, 기존 모델 대비 3–5% 높은 정확도를 달성했고, 사전에 문서 표현을 계산해 놓았기 때문에 추론 속도가 기존 모델 대비 3–10배 빠르다.

ABSTRACT

We propose a new model, DocHopper, that iteratively attends to different parts of long, hierarchically structured documents to answer complex questions. Similar to multi-hop question-answering (QA) systems, at each step, DocHopper uses a query $q$ to attend to information from a document, combines this ``retrieved'' information with $q$ to produce the next query. However, in contrast to most previous multi-hop QA systems, DocHopper is able to ``retrieve'' either short passages or long sections of the document, thus emulating a multi-step process of ``navigating'' through a long document to answer a question. To enable this novel behavior, DocHopper does not combine document information with $q$ by concatenating text to the text of $q$, but by combining a compact neural representation of $q$ with a compact neural representation of a hierarchical part of the document, which can potentially be quite large. We experiment with DocHopper on four different QA tasks that require reading long and complex documents to answer multi-hop questions, and show that DocHopper achieves state-of-the-art results on three of the datasets. Additionally, DocHopper is efficient at inference time, being 3--10 times faster than the baselines.

연구 동기 및 목표

• 연구 논문, 법률 문서, 정책 문서와 같은 장기적이고 계층적으로 구조화된 문서에서 복잡하고 다단계 질문에 답하는 과제를 해결하기 위해.
• 질의 개선을 위해 텍스트 연결에 의존하는 기존 다단계 QA 모델의 비효율성과 구조적 관계를 포착하지 못하는 문제를 개선하기 위해.
• 계층적 어텐션과 연속 벡터 공간에서의 반복적 질의 업데이트를 조합하여 문서 섹션 간의 효율적이고 효과적인 탐색을 가능하게 하기 위해.
• 추가 미세조정 없이도 기존의 사전학습된 모델인 ETC를 활용해 장기 문서 QA 작업에서 높은 성능을 달성하기 위해.

제안 방법

• DocHopper는 ETC 기반의 계층적 트랜스포머 인코더를 사용해 문단과 더 높은 수준의 섹션을 포함한 여러 수준에서 문서 섹션의 압축된 신경 표현을 생성한다.
• 각 반복 단계에서 모델은 문서의 관련 부분에 주의를 기울이기 위해 계층적 어텐션을 수행하며, 현재 쿼리 임베딩에 따라 짧은 문단이나 더 넓은 섹션을 선택한다.
• 검색된 텍스트를 질문에 연결하는 대신, DocHopper는 주의를 기울인 문서 부분의 신경 표현과 결합하여 임베딩 공간에서 쿼리 벡터를 업데이트한다.
• 학습 가능한 어텐션 가중치를 사용해 쿼리 기반 어텐션 메커니즘으로 계산된 가중치를 선형 조합하여 모든 단계에서의 주의 표현을 누적한 컨텍스트 벡터를 유지한다.
• 최종 예측은 집계된 컨텍스트 벡터에 분류기 헤드를 적용함으로써 이루어지며, 전체 과정에서 엔드 투 엔드 미분 가능성이 유지된다.
• 문서 표현은 사전에 계산되어 있어, 각 예제마다 문서를 다시 처리하지 않아도 되므로 빠른 추론이 가능하며, 기존 모델 대비 3–10배 빠르다.

실험 결과

연구 질문

• RQ1 텍스트 연결 기반 방법과 비교해, 연속된 임베딩 공간에서의 반복적 계층적 어텐션과 쿼리 업데이트가 장기적이고 구조화된 문서에서 복잡한 다단계 QA 성능을 향상시키는가?
• RQ2 문단과 섹션을 포함한 계층적 문서 표현이 복잡한 질의 응답에서 구조적 맥락을 포착하는 데 얼마나 효과적인가?
• RQ3 톆켄 연결이 아닌 임베딩 공간에서 쿼리를 업데이트하는 방식이 장기 문서 QA에서 더 나은 일반화 능력과 더 빠른 추론을 이끌어내는가?
• RQ4 사전학습된 ETC 스타일 인코더 기반 모델이 추가 미세조정 없이 다양한 장기 문서 QA 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ5 모델의 성능과 효율성은 검색-읽기 파ip라인과 순차적 청크 기반 읽기 기반 모델과 비교해 어떻게 다른가?

주요 결과

• DocHopper는 평가된 네 가지 데이터셋 중 세 개—QASPER, HybridQA, ShARC—에서 최고 성능을 기록하며, 기존 모델 대비 정확도에서 3–5% 높은 성능을 보였다.
• HotpotQA 데이터셋에서는 경쟁력 있는 결과를 기록하여 다양한 장기 문서 QA 작업에 대한 강력한 일반화 능력을 입증했다.
• 사전에 계산된 문서 표현 덕분에 추론 시 기존 모델 대비 3–10배 빠른 속도를 기록하여 계산 비용을 크게 줄였다.
• 제거 실험 결과 계층적 어텐션 메커니즘과 임베딩 공간에서의 쿼리 업데이트가 성능 향상에 핵심 요소임을 확인했으며, 증거 검색 정확도 향상이 뚜렷했다.
• 비교 기반 모델인 순차적 독서 기반 모델이 비관련 청크를 긍정으로 잘못 분류하는 경향이 있었던 것과는 달리, 이 모델은 비관련 콘텐츠에 대해 과도하게 확신을 갖지 않으며 높은 신뢰도를 유지했다.
• 모든 실험은 단일 GPU에서 수행되었고, 추가 미세조정 없이도 최고 성능을 달성하여 효율성과 실용적 구현 가능성의 잠재력을 입증했다.