[논문 리뷰] Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex Healthcare Question Answering

Ye Liu, Shaika Chowdhury외 3명|arXiv (Cornell University)|2020. 08. 06.

Topic Modeling참고 문헌 48인용 수 11

한 줄 요약

이 논문은 HeadQA 데이터셋에서 복잡한 의료 질문에 대한 답변을 위해 지식 추출 기반의 다단계 추론 프레임워크인 MurKe를 제안한다. 반복적으로 지원 문서를 검색하고, 확보된 증거를 바탕으로 질의를 재구성하며, 텍스트 함의를 적용함으로써, 강력한 베이스라인 대비 뛰어난 성능을 달성하며, 훈련 데이터가 제한된 상황에서도 해석 가능성과 강건성을 향상시킨다.

ABSTRACT

Healthcare question answering assistance aims to provide customer healthcare information, which widely appears in both Web and mobile Internet. The questions usually require the assistance to have proficient healthcare background knowledge as well as the reasoning ability on the knowledge. Recently a challenge involving complex healthcare reasoning, HeadQA dataset, has been proposed, which contains multiple-choice questions authorized for the public healthcare specialization exam. Unlike most other QA tasks that focus on linguistic understanding, HeadQA requires deeper reasoning involving not only knowledge extraction, but also complex reasoning with healthcare knowledge. These questions are the most challenging for current QA systems, and the current performance of the state-of-the-art method is slightly better than a random guess. In order to solve this challenging task, we present a Multi-step reasoning with Knowledge extraction framework (MurKe). The proposed framework first extracts the healthcare knowledge as supporting documents from the large corpus. In order to find the reasoning chain and choose the correct answer, MurKe iterates between selecting the supporting documents, reformulating the query representation using the supporting documents and getting entailment score for each choice using the entailment model. The reformulation module leverages selected documents for missing evidence, which maintains interpretability. Moreover, we are striving to make full use of off-the-shelf pre-trained models. With less trainable weight, the pre-trained model can easily adapt to healthcare tasks with limited training samples. From the experimental results and ablation study, our system is able to outperform several strong baselines on the HeadQA dataset.

연구 동기 및 목표

• 단일 문서를 넘어서 여러 문서 간의 추론이 필요한 복잡한 다단계 의료 질문에 대한 답변을 해결하고자 한다.
• 희소한 검색 신호와 깊이 있는 의료 지식이 요구되는 바탕이 되는 HeadQA 데이터셋에서 성능을 향상시키고자 한다.
• 문서 검색과 질의 재구성 과정을 통해 증거를 추적할 수 있는 해석 가능한 추론 프레임워크를 개발하고자 한다.
• 제한된 레이블링된 데이터가 있는 의료 QA 환경에서 사전 훈련된 모델을 최소한의 미세조정으로 효과적으로 활용하고자 한다.

제안 방법

• 프레임워크는 두 단계 과정을 사용한다: 먼저, 위키피디아에서 토큰 수준과 의미 수준의 융합 검색을 통해 관련 문서를 검색한다.
• 다음으로, 반복적인 질의 재구성 기법을 적용하여 확보된 문서를 바탕으로 질문 표현을 정밀화하고 누락된 증거를 식별한다.
• 텍스트 함의 모델이 각 답변 선택지를 향상된 질문 표현과 비교하여 점수를 매기고, 정답을 선택한다.
• 주의 메커니즘을 활용하여 문서 내 관련 증거를 강조함으로써 추론 경로의 해석 가능성을 보장한다.
• 최소한의 미세조정을 통해 사전 훈련된 모델(예: BERT)을 의료 QA에 적응시키며, 레이블링된 예제가 제한된 환경에서도 효과적으로 활용한다.
• 문서 검색, 질의 재구성, 함의 점수 매기기의 반복 루프를 번갈아가며 점진적으로 추론를 정교화한다.

실험 결과

연구 질문

• RQ1 단일 단계 검색이 실패하는 복잡한 의료 QA 작업에서 다단계 반복 프레임워크가 성능 향상에 기여할 수 있는가?
• RQ2 대규모 코퍼스에서 관련 문서를 좁히기 위해 토큰 수준과 의미 수준의 검색을 융합하는 방식이 얼마나 효과적인가?
• RQ3 확보된 증거를 바탕으로 한 질의 재구성은 답변 함의성과 모델의 해석 가능성에 얼마나 기여하는가?
• RQ4 제한된 레이블링된 데이터와 최소한의 미세조정으로 사전 훈련된 모델을 의료 QA에 효과적으로 적응시킬 수 있는가?

주요 결과

• MurKe는 HeadQA 데이터셋에서 여러 강력한 베이스라인을 압도하며, 무작위 추측과 기존 방법 대비 뚜렷한 성능 향상을 보였다.
• 질문당 약 30개의 지원 문서를 확보했을 때 최고 성능을 기록했으며, 이후 노이즈 증가로 인해 성능이 약간 감소했다.
• 6,765개 질문 중 단 한 개의 문서가 질문과 답변의 핵심 용어를 모두 포함하는 경우가 21건 뿐이었으며, 이는 다단계 추론의 필수성을 입증한다.
• 질문 임bedding과 이미지 특징을 융합하면 성능 향상이 이루어지며, 특히 사전 훈련된 이미지 인코더가 다중 모odal 정렬을 향상시키는 감독 설정에서 성능 향상이 두드러진다.
• 사례 연구를 통해 시스템의 해석 가능성은 검증되었으며, 문서의 관련성과 추론 단계가 명확하고 맥락에 기반한 경로로 추적 가능하다.
• 제거 실험 결과, 반복적 검색과 재구성 구성 요소가 필수적임을 확인하였으며, 이를 제거하면 성능이 크게 떨어졌다.