[논문 리뷰] Is Graph Structure Necessary for Multi-hop Reasoning?

Nan Shao, Yiming Cui외 3명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 6인용 수 7

한 줄 요약

이 논문은 다단계 추론에서 그래프 구조가 필수적인지 여부를 검토하며, HotpotQA를 기준으로 하여 그래프 구조가 실제로 필요하다는 가정을 도전한다. 자기주의 메커니즘이 포함된 트랜스포머에서 그래프 주의 메커니즘을 대체하여 명시적인 그래프 구조 없이도 최신 기술 수준의 성능을 달성할 수 있음을 보여주며, 이러한 작업에서 그래프 모델링의 필수성에 의문을 제기한다.

ABSTRACT

Recently, many works attempt to model texts as graph structure and introduce graph neural networks to deal with it on many NLP this http URL this paper, we investigate whether graph structure is necessary for multi-hop reasoning tasks and what role it plays. Our analysis is centered on HotpotQA. We use the state-of-the-art published model, Dynamically Fused Graph Network (DFGN), as our baseline. By directly modifying the pre-trained model, our baseline model gains a large improvement and significantly surpass both published and unpublished works. Ablation experiments established that, with the proper use of pre-trained models, graph structure may not be necessary for multi-hop reasoning. We point out that both the graph structure and the adjacency matrix are task-related prior knowledge, and graph-attention can be considered as a special case of self-attention. Experiments demonstrate that graph-attention or the entire graph structure can be replaced by self-attention or Transformers, and achieve similar results to the previous state-of-the-art model achieved.

연구 동기 및 목표

• 다단계 독해 작업에서 높은 성능을 달성하기 위해 그래프 구조가 필수적인지 여부를 판단하기 위해.
• 다단계 추론에서 그래프 구조와 인접 행렬이 작업 전용 사전 지식으로서의 역할을 평가하기 위해.
• 다단계 추론 작업에서 그래프 주의 메커니즘과 표준 자기주의의 효과성을 비교하기 위해.
• 사전 훈련된 모델이 명시적인 그래프 구조 없이도 최신 기술 수준의 성능을 달성할 수 있는지 평가하기 위해.

제안 방법

• 기준으로 삼을 최신 기술 수준의 동적 융합 그래프 네트워크(DFGN)를 채택하여, 사전 훈련된 모델을 사용해 HotpotQA에서 미세조정하였다.
• 명시적인 그래프 구조에 의존하지 않도록, 그래프 주의 구성 요소를 트랜스포머의 표준 자기주의 메커니즘으로 대체하였다.
• 그래프 구조와 주의 메커니즘의 성능 기여도를 분리하기 위해 분석 실험을 수행하였다.
• 인접 행렬을 작업 전용 사전 지식로 간주하여, 증거 문장 간의 관계 모델링에서의 역할을 분석하였다.
• 모든 실험에서 동일한 사전 훈련된 모델 기반을 사용하여 그래프 기반 및 비그래프 기반 접근 방식 간의 공정한 비교를 확보하였다.
• 그래프 구조 유무에 따라 변형된 모델의 성능을 비교하기 위해 HotpotQA의 개발 세트에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 다단계 추론 작업에서 높은 성능을 달성하기 위해 그래프 구조 자체가 필수적인가?
• RQ2 표준 자기주의에 비해 그래프 주의 메커니즘이 성능에 기여하는 정도는 어느 정도인가?
• RQ3 트랜스포머의 자기주의가 다단계 추론에서 그래프 주의 메커니즘이 갖는 동일한 관계적 인덕티브 바이어스를 효과적으로 모델링할 수 있는가?
• RQ4 사전 훈련된 모델의 사용은 추론 작업에서 명시적인 그래프 구조의 필요성에 어떤 영향을 미치는가?

주요 결과

• 사전 훈련된 모델을 사용한 DFGN 아키텍처 기반 기준 모델이 HotpotQA에서 최신 기술 수준의 성능을 달성하여, 발표된 바와 미발표된 이전 연구를 모두 초월하였다.
• 분석 실험 결과, 그래프 구조를 제거하더라도 자기주의를 사용할 경우 성능 저하가 발생하지 않았다.
• 그래프 주의 메커니즘이 자기주의의 특수한 경우임을 발견하여, 그래프의 인덕티브 바이어스가 주의 메커니즘에 내장될 수 있음을 시사한다.
• 트랜스포머에서 전체 그래프 구조를 자기주의로 대체함으로써 이전 최신 기술 수준의 모델과 비교할 만한 성능을 달성하였다.
• 인접 행렬과 그래프 구조는 필수적인 구조적 구성 요소가 아니라 작업 전용 사전 지식임을 규명하였다.
• 결과적으로 그래프 모델링의 주요 이점은 명시적인 그래프 구조보다는 주의 메커니즘에서 비롯될 수 있음을 시사한다.