[논문 리뷰] Stratified Rule-Aware Network for Abstract Visual Reasoning

Sheng Hu, Yuqing Ma외 3명|arXiv (Cornell University)|2020. 02. 17.

Data Visualization and Analytics인용 수 12

한 줄 요약

이 논문은 추상적 시각 추론을 위한 새로운 아키텍처인 계층적 규칙 인식 네트워크(SRAN)를 제안한다. SRAN은 셀 수준, 개별 수준, 생태계 수준에서 계층적인 규칙 임베딩을 학습하고, 게이트드 모듈을 통해 이를 융합하여 순서 민감성과 점진적 규칙 유도를 유지한다. SRAN은 PGM 및 새로 제안된 I-RAVEN 데이터셋에서 최신 기준(SOTA) 성능을 달성하며, 삼중손실로 훈련된 구분력 있는 규칙 임베딩과 규칙 유사도 메트릭을 통해 기존 모델보다 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Abstract reasoning refers to the ability to analyze information, discover rules at an intangible level, and solve problems in innovative ways. Raven's Progressive Matrices (RPM) test is typically used to examine the capability of abstract reasoning. The subject is asked to identify the correct choice from the answer set to fill the missing panel at the bottom right of RPM (e.g., a 3$ imes$3 matrix), following the underlying rules inside the matrix. Recent studies, taking advantage of Convolutional Neural Networks (CNNs), have achieved encouraging progress to accomplish the RPM test. However, they partly ignore necessary inductive biases of RPM solver, such as order sensitivity within each row/column and incremental rule induction. To address this problem, in this paper we propose a Stratified Rule-Aware Network (SRAN) to generate the rule embeddings for two input sequences. Our SRAN learns multiple granularity rule embeddings at different levels, and incrementally integrates the stratified embedding flows through a gated fusion module. With the help of embeddings, a rule similarity metric is applied to guarantee that SRAN can not only be trained using a tuplet loss but also infer the best answer efficiently. We further point out the severe defects existing in the popular RAVEN dataset for RPM test, which prevent from the fair evaluation of the abstract reasoning ability. To fix the defects, we propose an answer set generation algorithm called Attribute Bisection Tree (ABT), forming an improved dataset named Impartial-RAVEN (I-RAVEN for short). Extensive experiments are conducted on both PGM and I-RAVEN datasets, showing that our SRAN outperforms the state-of-the-art models by a considerable margin.

연구 동기 및 목표

• 기존 딥 러닝 모델이 순서 민감성과 점진적 규칙 유도와 같은 핵심 인덕티브 바이어스를 忽시하는 한계를 해결하기 위해.
• 인간과 유사한 추론 과정을 반영하는 구조적이고 다중 분해능의 규칙 임베딩을 학습할 수 있는 모델을 개발하기 위해.
• RAVEN 데이터셋에 존재하는 심각한 결함을 식별하고 수정하기 위해.
• 속성 이분 트리(ABT) 알고리즘을 사용해 편향 없는 정답 집합을 생성함으로써 더 공정한 새로운 벤치마크 데이터셋인 공정하지 않은 RAVEN(I-RAVEN)을 제안하기 위해.
• 규칙 임베딩이 훈련에 효과적일 뿐 아니라, 학습 가능한 규칙 유사도 메트릭을 통해 효율적인 추론을 가능하게 한다는 것을 입증하기 위해.

제안 방법

• SRAN은 RPM 매트릭스의 두 행 또는 두 열을 입력으로 받아, 셀 수준(개별 요소), 개별 수준(속성 수준 패턴), 생태계 수준(전반적 구조 패턴)에서 세 가지 계층적 수준의 규칙 임베딩을 학습한다.
• 모델은 게이트드 융합 모듈을 사용하여 이러한 임베딩을 점진적으로 통합함으로써 순서 민감성을 유지하고 계층적 규칙 유도를 가능하게 한다.
• 학습된 임베딩 기반으로 규칙 유사도 메트릭을 도입하여 삼중손실로 훈련하고, 유사도 점수를 통한 상위-1 정답 선택을 효율적으로 수행한다.
• 속성 이분 트리(ABT) 알고리즘은 맥락 매트릭스에 종속되지 않는 정답 집합을 생성하도록 설계되어 RAVEN 데이터셋의 단기 전략 일반화 문제를 제거한다.
• 모델는 정답 후보와 예측된 규칙 임베딩 간의 유사도를 최대화하고, 잘못된 후보와의 유사도를 최소화하도록 삼중손실을 사용해 엔드 투 엔드로 훈련된다.
• 프레임워크는 원래의 PGM 및 RAVEN 데이터셋과, 분포적 단기 전략에 더 강건한 I-RAVEN 데이터셋을 포함해 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 RPM 작업에서 인간의 추론 과정이 가지는 점진적이고 순서 민감한 특성을 반영하는 계층적 규칙 임베딩을 효과적으로 학습할 수 있는가?
• RQ2 순서 민감성과 점진적 규칙 유도와 같은 인덕티브 바이어스는 추상적 시각 추론에서 일반화 능력과 성능 향상에 어느 정도 기여하는가?
• RQ3 모델이 정답 집합의 임의적 연관성(스파urious correlation)을 악용하는 것을 방지하기 위해 추상적 시각 추론을 위한 데이터셋을 어떻게 구성할 수 있는가?
• RQ4 규칙 임베딩을 측정 가능하고 구분력 있게 만들 수 있는가? 이는 효과적인 훈련과 효율적인 추론을 지원할 수 있는가?
• RQ5 제안된 모델이 다양한 규칙 유형과 속성 조합(예: 색상, 크기, 유형)에 대해 강건하고 균형 잡힌 방식으로 일반화되는가?

주요 결과

• SRAN은 새로 제작된 I-RAVEN 데이터셋에서 테스트 정확도 60.8%를 달성하여, 데이터셋의 향상된 공정성에도 불구하고 강력한 일반화 능력과 강건성을 입증한다.
• 제거 실험 결과, 셀 수준, 개별 수준, 생태계 수준의 세 계층 수준 모두 성능 향상에 기여하며, 전체 모델이 단일 수준 변형보다 뛰어난 성능을 보인다.
• 셀 수준 임베딩의 순서 민감성을 비활성화(합산)하면 성능이 급격히 떨어지며(60.8% → 23.5%), 순서 인식의 중요성을 입증한다.
• 학습 중 열 규칙이 재통합되더라도 모델은 높은 성능(59.6%)을 유지하여 행 기반과 열 기반 규칙을 효과적으로 구분할 수 있음을 보여준다.
• 단일 계층 제거 실험에서 각 임베딩이 특화된 영역을 가짐을 확인: 셀 수준 임베딩은 유형과 크기에서 뛰어나며, 생태계 및 개별 임베딩은 색상에서 더 효과적이다.
• 규칙 유사도 메트릭은 효율적인 추론을 가능하게 하며, 다양한 규칙 구성과 복잡한 패턴에 걸쳐 모델의 성능이 안정적이다.