[논문 리뷰] Analyzing Language Learned by an Active Question Answering Agent

Christian Buck, Jannis Bulian외 5명|arXiv (Cornell University)|2018. 01. 23.

Topic Modeling참고 문헌 12인용 수 3

한 줄 요약

이 논문은 강화학습을 통해 훈련된 활성 질문 응답 에이전트가 블랙박스 QA 시스템과 상호작용할 때 답변 품질을 향상시키기 위해 언어를 어떻게 적응시키는지 조사한다. 에이전트는 유창하지 않지만 정보 검색(IR)에 유사한 재구성 방식—특히 용어 재가중, 어간 추출, 반복 등을 강조—을 학습한다. 이는 자연어 유창성 대신 고전적 정보 검색 기법을 효과적으로 재발견하고 있음을 보여주며, 자연어 유창성을 채택하지는 않는다.

ABSTRACT

We analyze the language learned by an agent trained with reinforcement learning as a component of the ActiveQA system [Buck et al., 2017]. In ActiveQA, question answering is framed as a reinforcement learning task in which an agent sits between the user and a black box question-answering system. The agent learns to reformulate the user's questions to elicit the optimal answers. It probes the system with many versions of a question that are generated via a sequence-to-sequence question reformulation model, then aggregates the returned evidence to find the best answer. This process is an instance of \emph{machine-machine} communication. The question reformulation model must adapt its language to increase the quality of the answers returned, matching the language of the question answering system. We find that the agent does not learn transformations that align with semantic intuitions but discovers through learning classical information retrieval techniques such as tf-idf re-weighting and stemming.

연구 동기 및 목표

• 강화학습을 통해 훈련된 활성 질문 응답 에이전트에서 언어가 어떻게 진화하는지 이해하는 것.
• 에이전트가 성능 향상을 위해 인간 유사 자연어를 학습하는지, 아니면 다른 언어 전략을 채택하는지 조사하는 것.
• 에이전트의 재구성 방식이 고전적 정보 검색 기법을 어느 정도 반영하는지 규명하는 것.
• QA 시스템 내 기계-기계 통신에서 유창성 대비 효과성의 역할을 평가하는 것.

제안 방법

• 에이전트는 정책 기반 강화학습을 사용해 순서에서 순서로 질문 재구성 모델을 훈련하며, 블랙박스 QA 시스템이 반환한 답변의 F1 점수를 최적화한다.
• 재구성기 모듈은 다수의 질문 변형을 생성하고, 답변 순위 매기기 모델이 이를 평가해 최상의 후보를 선택한다.
• 시스템은 원래 제퍼니의 클루즈가 키워드 유사 쿼리로 전처리된 SearchQA 데이터셋에서 평가된다.
• 언어 유창성은 사전 훈련된 언어 모델의 토큰당 음수 로그 확률로 측정된다.
• 원본, 기반-NMT, AQA가 생성한 재구성 문장 간에 용어 빈도(TF), 문서 빈도(DF), 형태소 변형(어간 추출)을 분석한다.
• 통계적 분석(t-검정)을 통해 재구성 유형 간 언어적 특징에 유의미한 차이가 있음을 확인한다.

실험 결과

연구 질문

• RQ1 강화학습으로 훈련된 활성 QA 에이전트가 사용하는 언어는 자연어와 기존의 재구성 모델과 어떻게 다를까?
• RQ2 에이전트의 재구성 방식이 tf-idf 재가중 및 어간 추출과 같은 고전적 정보 검색 기법을 어느 정도 반영하는가?
• RQ3 왜 에이전트는 자연어 유창성보다는 덜 유창하고 반복적이거나 형태소가 단순화된 형태를 선호하는가?
• RQ4 보상 함수에 유창성 유도 요소가 없을 경우, 에이전트가 자연어 대신 IR 스타일 전략을 발견하는가?
• RQ5 에이전트의 질문 표면 형태는 BiDAF와 같은 현대 딥 QA 모델의 내부 메커니즘과 어떻게 관련이 있는가?

주요 결과

• AQA 에이전트의 재구성 문장은 원본 SearchQA 질문과 기반-NMT 재구성 문장보다 유창성이著しく 낮으며, 언어 모델의 확률 값이 낮고(음수 로그 확률이 높아) 이를 뒷받침한다.
• 유창성은 낮지만 AQA의 최상위 가설은 테스트 세트에서 원본 SearchQA 질문보다 F1 점수 2%p 높게 성능을 내어 효과성 향상을 입증한다.
• AQA가 생성한 재구성 문장의 99.8%가 'What is name'으로 시작하며, 이는 원본 및 기반-NMT 질문에는 존재하지 않는 패턴으로, 명사어 엔티티를 타겟으로 하는 학습된 전략을 시사한다.
• AQA 재구성 문장은 형태소 변형 비율이 12.5%이며, SearchQA보다 동일 어간을 공유하는 단어 수가 두 배로 증가해 체계적인 어간 추출 행동을 보인다.
• 에이전트는 반복을 통해 용어 빈도를 증가시켜 평균 TF를 1.2로 높이며, 낮은 문서 빈도(DF) 용어를 선호해 tf-idf 재가중 원칙과 일치한다.
• 에이전트는 의미적으로 비논리적인 표면 형태(예: 'dense'에서 'densey')를 생성하지만, BiDAF와 같은 문자 기반 인코더 모델에서는 여전히 효과적으로 처리될 수 있음을 보여준다.