[논문 리뷰] CLEVR-Ref+: Diagnosing Visual Reasoning with Referring Expressions

Runtao Liu, Chenxi Liu외 2명|arXiv (Cornell University)|2019. 01. 03.

Multimodal Machine Learning Applications인용 수 21

한 줄 요약

이 논문은 참조 표현 이해를 위한 합성 진단 데이터셋인 CLEVR-Ref+를 소개한다. 이 데이터셋은 편향에 대한 정밀한 제어를 가능하게 하며 중간 추론 단계에 대한 자동 프로그래밍 기반의 참값을 제공한다. 모듈 네트워크 접근 방식을 사용하여 저자들은 IEP-Ref를 제안하며, 이는 최신 기술 수준의 성능을 달성하고 처음으로 신경 모듈이 단계별로 시각적으로 점검 가능하며, 존재하지 않는 객체를 참조하는 잘못된 전제 참조 표현에 대해 뛰어난 강건성을 보임을 입증한다.

ABSTRACT

Referring object detection and referring image segmentation are important tasks that require joint understanding of visual information and natural language. Yet there has been evidence that current benchmark datasets suffer from bias, and current state-of-the-art models cannot be easily evaluated on their intermediate reasoning process. To address these issues and complement similar efforts in visual question answering, we build CLEVR-Ref+, a synthetic diagnostic dataset for referring expression comprehension. The precise locations and attributes of the objects are readily available, and the referring expressions are automatically associated with functional programs. The synthetic nature allows control over dataset bias (through sampling strategy), and the modular programs enable intermediate reasoning ground truth without human annotators. In addition to evaluating several state-of-the-art models on CLEVR-Ref+, we also propose IEP-Ref, a module network approach that significantly outperforms other models on our dataset. In particular, we present two interesting and important findings using IEP-Ref: (1) the module trained to transform feature maps into segmentation masks can be attached to any intermediate module to reveal the entire reasoning process step-by-step; (2) even if all training data has at least one object referred, IEP-Ref can correctly predict no-foreground when presented with false-premise referring expressions. To the best of our knowledge, this is the first direct and quantitative proof that neural modules behave in the way they are intended.

연구 동기 및 목표

• 실세계 참조 표현 데이터셋의 한계를 해결하기 위해, 강한 표기 편향과 중간 추론 감시의 부재로 인한 문제를 해결한다.
• 최종 예측 정확도를 넘어서 모델 행동의 세부 분석이 가능한 진단 기준을 개발한다.
• 참조 표현과 연결된 자동 생성 기반의 기능 프로그램을 통해 시각적 추론 과정의 평가를 가능하게 한다.
• 해석 가능하고 모듈화된 추론을 지원하며 모든 중간 단계에서 점검이 가능한 모델 아키텍처를 제안한다.
• 신경 모듈이 중간 출력을 직접 시각화하여 그 기능이 올바르게 수행됨을 검증할 수 있음을 입증한다.

제안 방법

• CLEVR 질문을 참조 표현으로 변환하여 CLEVR-Ref+를 구축하고, 출력은 세그멘테이션 마스크 또는 경계 상자 형태로 제공한다.
• 제어된 시나리오 생성을 통해 균일한 샘플링을 보장하고 데이터셋 편향을 최소화하기 위해 합성 환경을 사용한다.
• 각 참조 표현을 단계별 추론 과정을 인코딩한 기능 프로그램과 자동으로 연관시킨다.
• 각 모듈이 특징 맵에서 특정 추론 작업(예: Find, Relate, Count 등)을 수행하는 신경 모듈 네트워크인 IEP-Ref를 설계한다.
• 중간 모듈 출력에 훈련된 Segment 모듈을 부착하여 추가 훈련 없이도 추론 과정을 단계별로 시각화한다.
• IoU와 정확도를 사용해 모델 성능을 평가하고, 하위 카테고리 성능 분석을 통해 모델의 약점을 진단한다.

실험 결과

연구 질문

• RQ1 합성 데이터셋이 참조 표현 모델의 중간 추론 단계 평가에 있어 편향을 줄이고 정밀도를 높일 수 있는가?
• RQ2 공유된 세그멘테이션 모듈을 사용해 중간 출력을 시각화함으로써 신경 모듈 네트워크의 해석 가능성은 어느 정도 달성되는가?
• RQ3 유효한 참조 표현만 포함된 데이터로 훈련된 모델이 존재하지 않는 객체를 참조하는 잘못된 전제 참조 표현으로 일반화되는가?
• RQ4 순서성 또는 동일 속성 간 관계와 같은 추론 개념 중 어떤 것이 현재 모델에게 가장 어려운가?
• RQ5 참조 표현과 연결된 기능 프로그램을 통해 각 모듈이 예상 기능을 올바르게 수행하고 있음을 검증할 수 있는가?

주요 결과

• IEP-Ref는 CLEVR-Ref+에서 최신 기술 수준의 성능을 달성하며, 세그멘테이션 마스크 IoU와 정확도 모두 기존 모델을 크게 앞서간다.
• 모델은 잘못된 전제 참조 표현에 대해 강건성을 보였다: 훈련 데이터에 포함되지 않은 이러한 예제들에 대해 25% 이상의 경우에 대해 배경 외 영역 픽셀 수가 0이었고, 33% 이상의 경우에 8개 이하의 배경 픽셀을 예측하였다.
• 중간 출력에 훈련된 Segment 모듈을 부착함으로써 명확하고 해석 가능한 추론 경로를 확인할 수 있었으며, 각 단계에서 높은 IoU를 기록하여 모듈이 예상대로 기능하고 있음을 확인했다.
• Unique 모듈은 예상치 못한 행동을 보였다 — 종종 보완 연산처럼 작동하지만, 이후의 Same 또는 Relate 모듈들에 의해 수정되어, 학습된 기능 적응이 이루어졌음을 시사한다.
• 순서성과 동일 속성 간 관계는 가장 어려운 추론 개념으로 나타났으며, 다른 하위 카테고리에 비해 모델의 성능이 뚜렷이 떨어졌다.
• 본 연구는 신경 모듈 네트워크에서 모듈이 예상 기능을 수행하고 있음을 직접적으로 정량적으로 입증하는 최초의 증거를 제공한다. 시각화 결과는 각 단계에서 정확한 기능 실행이 이루어지고 있음을 확인한다.