[논문 리뷰] Hierarchical Rule Induction Network for Abstract Visual Reasoning.

Sheng Hu, Yuqing Ma외 3명|arXiv (Cornell University)|2020. 02. 17.

Data Visualization and Analytics참고 문헌 26인용 수 14

한 줄 요약

이 논문은 계층적 규칙 유도 네트워크(HriNet)를 제안하며, 게이트드 퓨전 메커니즘을 통해 다중 수준의 규칙 임베딩을 학습함으로써 인간의 추상적 추론을 모방하는 새로운 딥러닝 모델이다. 이는 PGM 및 Balanced-RAVEN와 같은 추상적 시각적 추론 벤치마크에서 규칙 유도와 유사도 기반 추론을 개선함으로써 최신 기술(SOTA) 모델을 크게 능가한다.

ABSTRACT

Abstract reasoning refers to the ability to analyze information, discover rules at an intangible level, and solve problems in innovative ways. Raven's Progressive Matrices (RPM) test is typically used to examine the capability of abstract reasoning. In the test, the subject is asked to identify the correct choice from the answer set to fill the missing panel at the bottom right of RPM (e.g., a 3$ imes$3 matrix), following the underlying rules inside the matrix. Recent studies, taking advantage of Convolutional Neural Networks (CNNs), have achieved encouraging progress to accomplish the RPM test problems. Unfortunately, simply relying on the relation extraction at the matrix level, they fail to recognize the complex attribute patterns inside or across rows/columns of RPM. To address this problem, in this paper we propose a Hierarchical Rule Induction Network (HriNet), by intimating human induction strategies. HriNet extracts multiple granularity rule embeddings at different levels and integrates them through a gated embedding fusion module. We further introduce a rule similarity metric based on the embeddings, so that HriNet can not only be trained using a tuplet loss but also infer the best answer according to the similarity score. To comprehensively evaluate HriNet, we first fix the defects contained in the very recent RAVEN dataset and generate a new one named Balanced-RAVEN. Then extensive experiments are conducted on the large-scale dataset PGM and our Balanced-RAVEN, the results of which show that HriNet outperforms the state-of-the-art models by a large margin.

연구 동기 및 목표

• Raven의 진행 매트릭스(RPM) 문제에서 행과 열을 관통하는 복잡한 속성 패턴을 포착하는 데에 기존의 CNN 기반 모델의 한계를 해결하기 위해.
• 다양한 군집 수준에서 규칙를 학습함으로써 인간과 유사한 규칙 유도를 수행하는 모델을 개발하기 위해.
• 학습된 임베딩 기반의 규칙 유사도 메트릭을 도입하여 학습 및 추론 모두에 활용하기 위해.
• RAVEN 데이터셋의 결함을 수정하고 더 균형 잡힌 벤치마크인 Balanced-RAVEN를 구축하여 신뢰할 수 있는 평가를 가능하게 하기 위해.
• 향상된 규칙 표현과 융합을 통해 대규모 추상적 추론 데이터셋에서 최신 기술(SOTA) 성능을 달성하기 위해.

제안 방법

• HriNet는 국소적, 행/열 수준, 매트릭스 전체 수준의 다중 해상도 규칙 임베딩을 추출하기 위해 계층적 아키텍처를 사용한다.
• 게이트드 임베딩 융합 모듈은 다중 수준의 규칙 표현을 통합하여 통합적이고 맥락 인식형 표현을 생성한다.
• 학습 중에 삼중손실(Triplet loss)을 사용하여 임베딩 공간을 최적화함으로써 정답이 쿼리에 가까워지도록 한다.
• 학습된 임베딩 기반의 규칙 유사도 메트릭을 정의하여 가장 유사한 후보 정답을 선택함으로써 추론을 가능하게 한다.
• 모델은 대규모 PGM 데이터셋과 새로 구축한 보정된 데이터셋인 Balanced-RAVEN에서 모두 학습 및 평가된다.
• 아키텍처는 3×3 RPM 매트릭스의 패널 간의 관계적 및 구조적 패턴을 포착하도록 설계되어 인간의 유도 전략을 모방한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 추상적 시각적 추론 작업에서 다중 수준의 추상화에서 규칙 표현을 효과적으로 학습하고 융합할 수 있는가?
• RQ2 다중 군집 수준의 규칙 임베딩 융합이 RPM 스타일 추론 문제 성능에 어떻게 기여하는가?
• RQ3 학습된 규칙 유사도 메트릭은 추상적 추론에서 학습 및 추론 모두에 얼마나 기여하는가?
• RQ4 보정되고 균형 잡힌 데이터셋인 Balanced-RAVEN는 추상적 추론 모델 평가를 위한 더 신뢰할 수 있는 벤치마크를 제공할 수 있는가?
• RQ5 HriNet는 PGM 및 Balanced-RAVEN에서 기존 모델들과 비교해 최신 기술(SOTA) 성능을 달성하는가?

주요 결과

• HriNet는 대규모 PGM 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 이는 이전 모델들보다 유의미한 격차로 앞서고 있다.
• 새로가 구축한 Balanced-RAVEN 데이터셋에서 HriNet는 기존 방법들에 비해 뛰어난 일반화 능력과 강건성을 보였다.
• 모델의 성능 향상은 다중 수준 규칙 표현을 효과적으로 학습하고 융합할 수 있는 능력에 기인한다.
• 학습된 임베딩 기반의 규칙 유사도 메트릭 도입으로 추가 분류 헤드 없이도 정확한 추론이 가능해졌다.
• 학습 중 삼중손실 사용으로 더 구분력 있는 임베딩 공간이 형성되어 제로샷 일반화 성능이 향상되었다.
• 보정된 Balanced-RAVEN 데이터셋은 원래 RAVEN 데이터셋에서 숨겨져 있던 이전의 편향을 드러내었으며, 균형 잡힌 벤치마크의 필요성을 입증하였다.