[논문 리뷰] Recurrent Relational Networks for complex relational reasoning

Rasmus Palm, Ulrich Paquet외 1명|arXiv (Cornell University)|2017. 11. 21.

Image Retrieval and Classification Techniques참고 문헌 14인용 수 23

한 줄 요약

이 논문은 반복 구조를 통합하여 다단계 관계 추론을 가능하게 하는 신경망 아키텍처인 순환 관계망(RRNs)을 소개한다. 이 모델은 복잡한 추론 작업에서 최고 성능을 기록하며, 가장 어려운 수수박 퍼즐 96.6%를 해결하고, BaBi QA 데이터셋의 20개 작업 중 19개를 해결하여 이전의 관계망보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Humans possess an ability to abstractly reason about objects and their interactions, an ability not shared with state-of-the-art deep learning models. Relational networks, introduced by Santoro et al. (2017), add the capacity for relational reasoning to deep neural networks, but are limited in the complexity of the reasoning tasks they can address. We introduce recurrent relational networks which increase the suite of solvable tasks to those that require an order of magnitude more steps of relational reasoning. We use recurrent relational networks to solve Sudoku puzzles and achieve state-of-the-art results by solving 96.6% of the hardest Sudoku puzzles, where relational networks fail to solve any. We also apply our model to the BaBi textual QA dataset solving 19/20 tasks which is competitive with state-of-the-art sparse differentiable neural computers. The recurrent relational network is a general purpose module that can augment any neural network model with the capacity to do many-step relational reasoning.

연구 동기 및 목표

• 기존의 관계망이 복잡한 다단계 추론 작업을 다루는 데에 한계가 있음을 해결하기 위해.
• 신경망의 추론 능력을 단일 단계 관계 추론을 넘어서 확장하기 위해.
• 딥 러닝 모델이 객체 간 상호작용과 관계에 대해 추상적이고 반복적인 추론을 수행할 수 있도록 하기 위해.
• 어떤 신경망에나 통합될 수 있는 일반 목적의 모듈을 개발하기 위해.

제안 방법

• 모델은 다단계 시간 단계에 걸쳐 관계 표현을 반복적으로 개선할 수 있도록 반복 구조를 관계망에 확장한다.
• 메시지 전달을 통해 엔티티 간에 기반을 두고 객체 및 관계 표현을 업데이트하기 위해 미분 가능한 반복 단위를 사용한다.
• 추론 단계가 진행됨에 따라 변화하는 관계 지식을 캡처하는 은닉 상태를 유지한다.
• 각 추론 단계에서 관련 있는 객체 쌍에 집중하기 위해 주의 메커니즘 유사 기법을 활용한다.
• 입력을 객체와 관계의 집합으로 처리하고, 반복적인 메시지 전달을 통해 표현을 업데이트한다.
• 최종 예측은 고정된 수의 반복 단계 후에 생성되며, 깊은 관계 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 반복 아키텍처는 단일 단계 추론을 넘어서 관계망의 추론 깊이를 향상시킬 수 있는가?
• RQ2 반복 관계망은 수수박과 같은 복잡한 다단계 추론 작업을 얼마나 잘 해결할 수 있는가?
• RQ3 이 모델은 BaBi 데이터셋의 텍스트 기반 질문 응답과 같은 다양한 추론 작업으로 일반화될 수 있는가?
• RQ4 기준 추론 작업에서 최고 성능을 내는 모델과 비교해 복잡한 추론 작업에서의 성능은 어떠한가?
• RQ5 반복은 모델이 추상적이고 반복적인 추론 패턴을 학습하는 데 얼마나 기여하는가?

주요 결과

• 순환 관계망은 가장 어려운 수수박 퍼즐 96.6%를 해결했으며, 이는 기존의 관계망이 이러한 퍼즐을 모두 실패했던 것과 비교해 뚜렷한 향상이다.
• BaBi 텍스트 기반 QA 벤치마크에서 경쟁적인 성능을 기록했으며, 20개 작업 중 19개를 해결했다.
• 이 모델은 표준 관계망이 갖지 못하는 다단계 관계 추론 능력을 입증했다.
• 다양한 추론 작업으로의 일반화 성능이 우수하여, 이 아키텍처의 강건성과 유연성을 시사한다.
• 반복의 통합은 더 깊은 관계 추론을 가능하게 하여, 단순한 관계 연산을 넘어서는 복잡한 추론에 적합함을 보였다.
• 기존의 관계망을 초월했으며, BaBi 작업에서 희소 미분 가능한 신경 컴퓨터의 성능을 따라하거나 뛰어넘었다.