[논문 리뷰] Abstract Reasoning with Distracting Features

Kecheng Zheng, Zheng-Jun Zha외 1명|arXiv (Cornell University)|2019. 12. 02.

Topic Modeling인용 수 30

한 줄 요약

이 논문은 강화학습을 사용하여 학습 경로를 최적화하고 추상적 추론 작업에서의 혼란 요소를 줄이기 위해 특징 견고 추론(FRAR)을 제안한다. 유도적 특징이 존재하는 상황에서도 추론 패턴을 학습하도록 모델을 이끌어내는 것으로, FRAR는 RAVEN 및 PGM 데이터셋에서 각각 18.7%, 13.3% 향상된 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Abstraction reasoning is a long-standing challenge in artificial intelligence. Recent studies suggest that many of the deep architectures that have triumphed over other domains failed to work well in abstract reasoning. In this paper, we first illustrate that one of the main challenges in such a reasoning task is the presence of distracting features, which requires the learning algorithm to leverage counterevidence and to reject any of the false hypotheses in order to learn the true patterns. We later show that carefully designed learning trajectory over different categories of training data can effectively boost learning performance by mitigating the impacts of distracting features. Inspired by this fact, we propose feature robust abstract reasoning (FRAR) model, which consists of a reinforcement learning based teacher network to determine the sequence of training and a student network for predictions. Experimental results demonstrated strong improvements over baseline algorithms and we are able to beat the state-of-the-art models by 18.7% in the RAVEN dataset and 13.3% in the PGM dataset.

연구 동기 및 목표

• 추상적 추론 작업 중 모델을 오도하는 혼란 요소 문제를 해결하기 위해.
• 거짓 가설을 거부하고 진정된 추론 패턴에 집중함으로써 모델의 일반화 능력을 향상시키기 위해.
• 혼란 요소로부터 간섭을 줄이기 위해 데이터를 적응적으로 순서대로 구성하는 훈련 전략을 개발하기 위해.
• 교재 유사 학습 경로가 혼란 요소 존재 하에서 성능 향상에 크게 기여하는지 보여주기 위해.
• 강화학습을 활용한 교사-학생 프레임워크가 추상적 추론에서 교재 학습에 효과적인지 검증하기 위해.

제안 방법

• 학생 네트워크(Lenient Embedding Network, LEN)는 추상적 추론을 지원하기 위해 큰 범위의 논리적 추론 패턴을 명시적으로 열거한다.
• 교사 네트워크는 강화학습을 통해 훈련 데이터 하위 집합의 순서와 비율을 선택하여 최적의 훈련 경로를 학습한다.
• 교사 모델은 학생의 성능 피드백을 받아 혼란 요소로부터의 간섭을 최소화하도록 전략을 조정한다.
• 훈련 과정은 교재 학습 방식을 사용하며, 점차 복잡도와 혼란 수준이 높아지는 데이터 하위 집합이 점진적으로 도입된다.
• 프레임워크는 임베딩 공간에서 추론 특징과 혼란 요소 특징 간의 분리가 향상되었음을 분석하고 확인하기 위해 t-SNE 시각화를 활용한다.
• 모델은 통제된 혼란 요소 설정 하에 RAVEN 및 PGM 벤치마크 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 혼란 요소 특징은 추상적 추론 모델의 성능을 어떻게 악화시키며, 이러한 악화를 유도하는 메커니즘은 무엇인가?
• RQ2 데이터 하위 집합의 순서를 정하는 기반 교재 기반 훈련 전략이 혼란 요소에 대한 모델의 견고성 향상에 기여하는가?
• RQ3 강화학습 기반 교사 모델이 추상적 추론 작업에서 고정되거나 무작위로 설정된 훈련 순서보다 성능이 뛰어나게 되는가?
• RQ4 학습된 표현 공간에서 모델이 추론 특징과 혼란 요소 특징을 얼마나 잘 분리할 수 있는가?
• RQ5 제안된 FRAR 프레임워크는 RAVEN 및 PGM와 같은 표준 추상적 추론 벤치마크에서 최신 기준 성능(SOTA)을 달성할 수 있는가?

주요 결과

• RAVEN 데이터셋에서 FRAR는 테스트 정확도 82.1%를 기록하여 이전 최신 기준 성능(SOTA)보다 18.7% 향상되었다.
• PGM 데이터셋에서 FRAR는 정확도 67.6%를 달성하여 이전 SOTA 대비 13.3% 향상되었다.
• 특히 혼란 요소가 존재할 경우, 교사 모델에 의해 최적화된 훈련 경로를 사용할 경우 모델의 성능 향상이 뚜렷하게 향상되었다.
• 혼란 요소가 없을 경우 훈련 순서의 영향은 미미했지만, 혼란 요소가 존재할 경우 최적의 경로 선택이 상당한 성능 향상을 이끌어냈다.
• t-SNE 시각화 결과, 교사가 안내한 경로를 따르는 모델이 임베딩 공간에서 추론 특징과 혼란 요소 특징을 더 잘 분리하는 것으로 확인되었다.
• 교사 모델의 강화학습 전략은 혼란 특성에 의한 간섭을 최소화하는 데이터 하위 집합을 우선순위로 선택하는 데 성공했다.