[논문 리뷰] Question Decomposition with Dependency Graphs

Matan Hasson, Jonathan Berant|arXiv (Cornell University)|2021. 04. 17.

Topic Modeling참고 문헌 24인용 수 5

한 줄 요약

이 논문은 질문 분해를 위한 의미 표현 기반 질문 분해 구조(QDMR)에 대해 종속성 그래프(DG) 기반 접근법을 제안한다. QDMR를 질문 토큰 간의 레이블링된 관계로 모델링하며, 자동적 순차 모델(seq2seq) 대비 16배 빠른 추론 속도와 더 나은 샘플 효율성을 달성하는 비자기적 그래프 파서(non-autoregressive graph parser)를 도입한다. 또한 보조 DG 감독 신호를 활용한 seq2seq 모델은 일반화 능력과 장문의 복잡한 질문에서의 성능을 향상시킨다.

ABSTRACT

QDMR is a meaning representation for complex questions, which decomposes questions into a sequence of atomic steps. While state-of-the-art QDMR parsers use the common sequence-to-sequence (seq2seq) approach, a QDMR structure fundamentally describes labeled relations between spans in the input question, and thus dependency-based approaches seem appropriate for this task. In this work, we present a QDMR parser that is based on dependency graphs (DGs), where nodes in the graph are words and edges describe logical relations that correspond to the different computation steps. We propose (a) a non-autoregressive graph parser, where all graph edges are computed simultaneously, and (b) a seq2seq parser that uses gold graph as auxiliary supervision. We find that a graph parser leads to a moderate reduction in performance (0.47 to 0.44), but to a 16x speed-up in inference time due to the non-autoregressive nature of the parser, and to improved sample complexity compared to a seq2seq model. Second, a seq2seq model trained with auxiliary graph supervision has better generalization to new domains compared to a seq2seq model, and also performs better on questions with long sequences of computation steps.

연구 동기 및 목표

• 자기적 순차 모델(seq2seq)의 한계를 해결하기 위해 QDMR를 질문 토큰 간의 종속성 그래프로 모델링함으로써 QDMR 파싱 성능 향상.
• 비자기적 그래프 파서를 도입하여 추론 속도 향상과 샘플 복잡도 감소.
• 골드 종속성 그래프(DG)의 보조 감독 신호를 활용하여 seq2seq 모델의 일반화 능력 향상 및 장문의 복잡한 분해 시퀀스에서의 성능 향상.
• 기존 평가 지표보다 인간 판단과 더 잘 일치하는 중간 논리형식을 기반으로 한 새로운 평가 지표인 LF-EM을 제안.

제안 방법

• 공식 연산자와 인수를 사용하여 정답 QDMR 구조를 중간 논리형식(LF)으로 변환.
• LF를 질문 토큰에 투영하여, 노드가 토큰이고 간선이 레이블된 논리적 관계를 나타내는 정답 종속성 그래프(DG) 생성.
• 모든 레이블된 간선을 동시에 예측하는 비자기적 그래프 파서를 학습하여 자기적 디코딩을 회피.
• 에코더 표현에서 정답 DG를 예측하기 위해 보조 손실을 사용하는 seq2seq 모델을 학습하며, 관계 인식 표현을 캡처하는 잠재적-RAT 인코더(Latent-RAT) 활용.
• 구조화된 중간 논리형식(LF) 표현을 사용하여 인간 판단과 더 잘 일치하는 새로운 평가 지표인 LF-EM을 계산.
• 장거리 의존성과 구조적 복잡도를 더 잘 모델링하기 위해 관계 인식 어텐션(Latent-RAT)을 갖춘 BERT 기반 인코더 적용.

실험 결과

연구 질문

• RQ1 질문 토큰 간의 종속성 그래프로 QDMR를 모델링하는 것이 기존 seq2seq 접근법 대비 성능 향상과 효율성 향상에 기여하는가?
• RQ2 비자기적 그래프 파서가 자기적 seq2seq 모델 대비 더 빠른 추론 속도와 더 나은 샘플 복잡도를 달성하는가?
• RQ3 정답 종속성 그래프(DG)의 보조 감독 신호가 seq2seq 모델의 도메인 외 일반화 능력과 장문의 추론 체인에서의 성능 향상에 기여하는가?
• RQ4 제안된 LF-EM 지표가 기존 QDMR 평가 지표보다 인간 판단을 더 잘 반영하는가?

주요 결과

• 비자기적 그래프 파서는 LF-EM을 0.47에서 0.44로 낮추지만, seq2seq 모델 대비 16배 빠른 추론 시간을 확보한다.
• 비자기적 그래프 파서는 샘플 복잡도 측면에서 더 나은 성능을 보이며, 훈련 데이터의 10%만으로도 seq2seq 모델을 능가한다.
• 보조 DG 감독을 받는 seq2seq 모델은 전체 데이터셋에서 동일한 성능(0.471 LF-EM)을 달성하지만, 새로운 도메인으로의 일반화 능력이 크게 향상된다.
• Latent-RAT 모델은 다섯 개 이상의 계산 단계를 포함하는 질문에서 더 나은 성능을 보이며, 이 영역에서 표준 seq2seq 모델을 능가한다.
• CopyNet+BERT에서 70%, Latent-RAT에서 73.3%의 오류는 예측이 올바르지만 LF-EM에 포착되지 않는 경우로, 현재 모델은 매우 정확하지만 평가가 어렵다는 것을 시사한다.
• 새로운 LF-EM 지표는 기존 지표보다 인간 판단과 더 잘 상관관계를 가지며, 동치, 확장, 또는 여전히 올바른 중복 분해를 더 잘 포착한다.