[논문 리뷰] Full-Time Supervision based Bidirectional RNN for Factoid Question Answering

Dong Xu, Wu-Jun Li|arXiv (Cornell University)|2016. 06. 19.

Topic Modeling참고 문헌 8인용 수 5

한 줄 요약

이 논문은 풀타임 감독 기반 양방향 RNN(FTS-BRNN)을 제안하며, 풀링 연산에 의존하는 것 대신 각 시점에서 손실 계산을 적용하는 새로운 딥러닝 모델이다. GRU 유닛과 엔드 투 엔드 훈련을 통해 FTS-BRNN는 사실 기반 질의 응답 벤치마크에서 SOTA 정확도 89.8% (InnerP)와 93.1% (LR)를 달성하여 QA-LSTM 및 QANTA와 같은 이전 방법들을 능가한다.

ABSTRACT

Recently, bidirectional recurrent neural network (BRNN) has been widely used for question answering (QA) tasks with promising performance. However, most existing BRNN models extract the information of questions and answers by directly using a pooling operation to generate the representation for loss or similarity calculation. Hence, these existing models don't put supervision (loss or similarity calculation) at every time step, which will lose some useful information. In this paper, we propose a novel BRNN model called full-time supervision based BRNN (FTS-BRNN), which can put supervision at every time step. Experiments on the factoid QA task show that our FTS-BRNN can outperform other baselines to achieve the state-of-the-art accuracy.

연구 동기 및 목표

• 기존 BRNN 모델이 풀링 이후에만 감독을 적용함으로써 시간 정보를 손실하는 한계를 해결하기 위해.
• 모든 시점에서 손실를 적용하는 풀타임 감독이 표현 학습과 모델 성능 향상에 기여하는지 조사하기 위해.
• 질의 응답 맥락에서 양방향 RNN 내에서 GRU가 LSTM보다 우수한 성능을 보이는지 평가하기 위해.
• 엔드 투 엔드 학습 가능한 아키텍처를 통해 사실 기반 질의 응답 작업에서 SOTA 성능을 달성하기 위해.

제안 방법

• 양방향 RNN의 모든 시점에서 손실를 계산하는 풀타임 감독 메커니즘을 제안하며, 풀링 이후에만 손실를 적용하는 것과 대비된다.
• 복잡도를 감소시키고 훈련 효율을 향상시키기 위해 BRNN의 은닉 유닛으로 게이트드 리커런트 유닛(GRUs)을 사용한다.
• 앞서와 뒤로의 은닉 상태를 연결하여 공유 공간으로 투영하는 출력 레이어를 도입한다.
• 유사도 계산을 위한 두 가지 예측 헤드를 사용한다: 하나는 내적 곱을, 다른 하나는 로지스틱 회귀(LR)를 사용한다.
• 모든 시점에서의 감독를 집계하는 새로운 손실 함수(식 2)를 적용하여 시퀀스 전반에 걸쳐 기울기 흐름을 가능하게 한다.
• 가중치 행렬과 은닉 상태에 대해 균일한 초기화를 적용하며, 표준 Xavier 스타일의 초기화 방법을 사용한다.

실험 결과

연구 질문

• RQ1 풀링 기반 감독 대비 BRNN에서 모든 시점에서 감독를 적용할 경우 사실 기반 QA 성능이 향상되는가?
• RQ2 풀타임 감독 기반 사실 기반 QA 맥락에서 GRU 기반 BRNN가 LSTM 기반 BRNN를 능가할 수 있는가?
• RQ3 제안된 FTS-BRNN 모델은 표준 사실 기반 QA 벤치마크에서 SOTA 정확도를 달성할 수 있는가?
• RQ4 출력 레이어의 포함 여부가 풀타임 감독 메커니즘의 성능에 어떤 영향을 미치는가?

주요 결과

• 풀타임 감독과 출력 레이어를 갖춘 FTS-BRNN는 내적 곱을 사용할 경우 89.8%의 정확도, 로지스틱 회귀를 사용할 경우 93.1%의 정확도를 기록하여 모든 베이스라인을 능가한다.
• 제거 실험 결과, 풀타임 감독이 성능 향상에 크게 기여하는 것으로 확인되었으며, FTS-BRNN-s에서 풀타임 감독을 적용한 경우 정확도는 89.2% (InnerP)와 93.0% (LR)를 기록했고, 풀링 손실를 사용한 경우는 각각 77.0%와 83.5%였다.
• 출력 레이어는 핵심적이다: 이를 제거하면 성능이 급격히 떨어지며, 출력 레이어가 없는 변형에서는 정확도가 28.7% (InnerP)와 85.5% (LR)로 떨어진다.
• FTS-BRNN 아키텍처에서 GRU는 LSTM보다 우수한 성능을 보였으며, 내적 곱을 사용할 경우 89.8% (InnerP)와 93.1% (LR)의 정확도를 기록했고, LSTM을 사용한 경우는 각각 86.2%와 89.5%였다.
• 모든 RNN 기반 모델(FTS-BRNN 포함)은 QANTA 모델(내적 곱 63.0%와 로지스틱 회귀 65.8%)보다 뛰어난 성능을 보였다.
• 제안된 방법은 사실 기반 QA 작업에서 SOTA 성능을 달성했으며, 이는 78.7% (InnerP)와 86.9% (LR)를 기록한 QA-LSTM을 능가하는 성과이다.