[논문 리뷰] Effective Abstract Reasoning with Dual-Contrast Network

Tao Zhuo, Mohan Kankanhalli|arXiv (Cornell University)|2022. 05. 27.

Machine Learning in Bioinformatics참고 문헌 31인용 수 9

한 줄 요약

이 논문은 보조 annotation이나 숨겨진 규칙에 대한 강한 가정 없이, 오직 정답 데이터만을 사용하여 레이븐의 진행성 행렬(RPM)을 해결하기 위한 새로운 신경망인 더블-컨트라스트 네트워크(DCNet)를 제안한다. 행과 열 간의 규칙 대비 및 선택지 간의 선택 대비를 활용하여 DCNet은 RAVEN 및 PGM 데이터셋에서 평균 5.77% 향상된 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

As a step towards improving the abstract reasoning capability of machines, we aim to solve Raven's Progressive Matrices (RPM) with neural networks, since solving RPM puzzles is highly correlated with human intelligence. Unlike previous methods that use auxiliary annotations or assume hidden rules to produce appropriate feature representation, we only use the ground truth answer of each question for model learning, aiming for an intelligent agent to have a strong learning capability with a small amount of supervision. Based on the RPM problem formulation, the correct answer filled into the missing entry of the third row/column has to best satisfy the same rules shared between the first two rows/columns. Thus we design a simple yet effective Dual-Contrast Network (DCNet) to exploit the inherent structure of RPM puzzles. Specifically, a rule contrast module is designed to compare the latent rules between the filled row/column and the first two rows/columns; a choice contrast module is designed to increase the relative differences between candidate choices. Experimental results on the RAVEN and PGM datasets show that DCNet outperforms the state-of-the-art methods by a large margin of 5.77%. Further experiments on few training samples and model generalization also show the effectiveness of DCNet. Code is available at https://github.com/visiontao/dcnet.

연구 동기 및 목표

• 최소한의 감독 정보를 사용하여 기계의 추상적 추론 능력을 향상시키기 위해 레이븐의 진행성 행렬(RPM)을 해결하는 데 도전한다.
• 이전 방법들이 보조 annotation이나 숨겨진 논리적 규칙에 대한 강한 가정에 의존하는 한계를 극복한다.
• 새로운 RPM 구성과 소수의 예시 설정에서도 잘 일반화되는 모델을 개발한다.
• 정답만을 감독 신호로 사용하는 엔드 투 엔드 학습을 가능하게 하여 인간과 유사한 추론 방식을 최소한의 감독 정보로 모방한다.

제안 방법

• 채워진 행/열과 첫 두 행/열 간의 잠재적 규칙를 비교하기 위해 규칙 대비 모듈을 설계하여 기저 논리적 구조와의 일관성을 확보한다.
• 후보 정답 간의 상대적 차이를 강화하기 위해 선택지 대비 모듈을 구현하여 유사한 오락물이 존재하는 상황에서도 분류 성능을 향상시킨다.
• 규칙 수준의 annotation이 필요 없도록 오직 정답 데이터만을 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 대비 학습 원리를 활용하여 정답 규칙 패턴의 표현을 정렬하고 잘못된 선택지를 특징 공간에서 분리한다.
• RPM 퍼즐의 본질적 구조적 대칭성—정답이 첫 두 행/열과 동일한 규칙를 만족해야 한다는 점—을 이중 대비 학습을 통해 모델링한다.
• 백본 CNN를 통해 특징을 추출하고, 규칙 및 선택지 비교에 특화된 대비 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 보조 규칙 annotation이나 규칙 수에 대한 가정 없이 RPM에서 강력한 추상적 추론을 달성할 수 있는가?
• RQ2 행 간의 규칙 비교 및 선택지 간의 선택 비교를 통한 이중 대비 학습 전략은 일반화 능력과 정확도 향상에 얼마나 효과적인가?
• RQ3 정답 데이터만을 사용할 경우, 모델은 얼마나 잘 새로운 그림 구성과 소수의 예시 설정에 일반화되는가?
• RQ4 유사한 오락물이 존재하는 상황에서 규칙 대비 모듈과 선택지 대비 모듈이 각각 성능에 얼마나 기여하는가?

주요 결과

• RAVEN 및 PGM 벤치마크 데이터셋에서 DCNet은 이전 최신 기술 수준(SOTA) 방법보다 5.77%p의 절대적 성능 향상을 달성한다.
• RAVEN 데이터셋에서 DCNet은 98.75%의 정확도를 기록하여, 동일한 감독 설정 하에서 CoPINet 및 기타 SOTA 방법들을 크게 앞서며 성능을 뛰어넘는다.
• 제거 실험 결과, 선택지 대비 모듈을 제거할 경우 RAVEN에서 정확도가 57.07%p 감소함을 확인하여, 이 모듈이 유사한 오락물에 대응하는 데 핵심적인 역할을 한다는 점을 입증한다.
• 규칙 대비 모듈의 기여도도 뚜렷하며, PGM에서 제거 시 정확도가 5.12%p 감소하여 기저 논리 패턴을 포착하는 데 중요한 역할을 한다는 점을 시사한다.
• RAVEN에서 새로운 그림 구성에 대한 일반화 능력에서 CoPINet보다 DCNet이 뛰어나 7개 구성 중 5개에서 승리한다.
• PGM 데이터셋에서 DCNet은 중립 영역에서 68.6%, 내삽 영역에서 59.7%, 외삽 영역에서 17.8%의 성능을 기록하여, 분포 외 일반화의 어려움에도 불구하고 경쟁 가능한 성능을 보였다.