[논문 리뷰] Adversarial TableQA: Attention Supervision for Question Answering on Tables

Min Seok Cho, Reinald Kim Amplayo외 2명|arXiv (Cornell University)|2018. 10. 18.

Topic Modeling참고 문헌 34인용 수 11

한 줄 요약

이 논문은 신경 연산자(NeOp)라는 새로운 신경망 아키텍처를 제안한다. 이는 답변을 유도하는 데 사용된 정확한 셀과 연산 정보를 주의력 감독으로 활용하여, 모델 성능, 내성 및 해석 가능성 향상을 도모한다. 셀 수준의 주의력 감독을 통합함으로써 NeOp는 이전 모델들을 크게 능가하며, MLB 데이터셋에서 최종 정확도 80.3%를 달성하고, 악성 변형에 대해서도 뛰어난 내성을 보였다.

ABSTRACT

The task of answering a question given a text passage has shown great developments on model performance thanks to community efforts in building useful datasets. Recently, there have been doubts whether such rapid progress has been based on truly understanding language. The same question has not been asked in the table question answering (TableQA) task, where we are tasked to answer a query given a table. We show that existing efforts, of using "answers" for both evaluation and supervision for TableQA, show deteriorating performances in adversarial settings of perturbations that do not affect the answer. This insight naturally motivates to develop new models that understand question and table more precisely. For this goal, we propose Neural Operator (NeOp), a multi-layer sequential network with attention supervision to answer the query given a table. NeOp uses multiple Selective Recurrent Units (SelRUs) to further help the interpretability of the answers of the model. Experiments show that the use of operand information to train the model significantly improves the performance and interpretability of TableQA models. NeOp outperforms all the previous models by a big margin.

연구 동기 및 목표

• 기존 TableQA 모델이 답변 감독만에 의존함으로써 해석 가능성과 내성이 부족한 문제를 해결하기 위해.
• 답변 전용 감독이 사소한 추론 경로를 통해 '운이 좋은 추측'을 유도하는지 여부를 조사하기 위해.
• 더 정밀하고 해석 가능한 학습을 가능하게 하는 새로운 감독 신호인 산술 정보(정확한 셀과 연산)를 제안하기 위해.
• 이 산술 정보를 계층적 주의력 기반 아키텍처를 통해 활용하는 신경 모델 NeOp를 개발하여 성능 향상과 해석 가능성 향상을 도모하기 위해.
• 입력 셀이나 연산이 변경되더라도 정답을 유지하는 악성 변형에 대한 모델의 내성 평가하기 위해.

제안 방법

• 신경 연산자( NeOp )는 열, 피봇, 파라미터, 연산 선택을 위한 선택적 순환 유닛( SelRUs )으로 구성된 다층 순차 네트워크이다.
• 각 SelRU 레이어는 질문과 표의 특정 구성 요소에 주의를 기울인다: 열, 피봇 단어(예: '등과'), 파라미터(예: '0'), 최종 연산(예: 'max')
• 각 SelRU의 주의력 가중치는 관련 표 셀과 연산의 선택을 안내하며, 최종 연산 솔버는 출력 연산을 선택한다.
• 학습 중에 정확한 셀 선택을 장려하기 위해 새로운 손실 항목 $L_{cell}$ 이 도입되어 주의력 감독을 향상시킨다.
• 산술 정보가 감독 신호로 사용된다: 최종 답변 외에도, 모델은 이를 유도하는 데 사용된 정확한 셀과 연산을 식별하도록 훈련된다.
• 아키텍처는 예측의 단계별 해석을 가능하게 하며, 주의력 가중치를 시각화하여 각 타임스텝에서 선택된 셀과 연산을 확인할 수 있다.

실험 결과

연구 질문

• RQ1 답변 감독만으로 훈련된 TableQA 모델은 여전히 정답을 도출하는 사소한 추론 경로에 의해 속임을 당할 수 있는가?
• RQ2 정답을 계산하는 데 사용된 특정 셀과 연산 정보인 산술 정보를 통합하면 모델 성능과 해석 가능성 향상이 가능한가?
• RQ3 산술 정보를 활용한 주의력 감독이 답변 전용 또는 SQL 기반 감독과 비교해 악성 입력에 대해 얼마나 뛰어난 내성을 보이는가?
• RQ4 계층적 주의력 기반 아키텍처를 갖춘 신경 모델이 기존 모델보다 더 높은 정확도와 더 나은 해석 가능성을 달성할 수 있는가?
• RQ5 산술 정보를 통한 주의력 감독이 값 또는 연산 변경에 대한 모델의 내성 향상에 얼마나 기여하는가?

주요 결과

• NeOp는 MLB 데이터셋에서 80.3%의 최종 정확도를 달성하여 이전 모델인 Sempre(64.4%)와 NePR(32.4%)를 크게 능가했다.
• $L_{cell}$ 손실을 사용해 훈련한 NeOp는 MLB 데이터셋에서 성능이 17.6% 향상되었으며, 셀 수준의 주의력 감독의 효과를 입증했다.
• 값 변형 악성 예제(V-P)에서 NeOp는 정확도가 0.25% 감소에 그쳐 Sempre(-2.80%)와 NePR(-3.70%)에 비해 뛰어난 내성을 보였다.
• 연산 변형 악성 예제(O-P)에서 NeOp는 80.1%의 정확도를 유지하여 연산 유형의 변화에 강력한 내성을 보였다.
• 레이어별 주의력 덕분에 모델의 해석 가능성은 향상되었으며, 각 타임스텝에서 열, 피봇, 파라미터가 선택되고, 최종 연산 솔버가 정확한 연산을 선택함으로써 단계적 추론의 시각화가 가능했다.
• 산술 정보를 감독 신호로 사용함으로써, 비기술자도 간편하게 레이블링이 가능해졌으며, 사용자는 복잡한 SQL이나 논리 구조를 작성할 필요 없이 관련 셀과 연산을 식별하기만 하면 된다.