[논문 리뷰] Iterative Visual Reasoning Beyond Convolutions

Xinlei Chen, Li-Jia Li외 2명|arXiv (Cornell University)|2018. 03. 29.

Multimodal Machine Learning Applications참고 문헌 51인용 수 29

한 줄 요약

이 논문은 복합적 인식 작업에서 기존의 컨볼루션 네트워크를 초월하는 새로운 반복적 시각적 추론 프레임워크를 제안한다. 이 프레임워크는 이중 모듈 아키텍처를 통해 공간적 및 의미적 관계를 통합한다: 지역 모듈은 병렬 공간 메모리를 사용하고, 전역 그래프 추론 모듈은 지식, 영역, 할당 그래프를 포함한다. 이 프레임워크는 ADE20K 데이터셋에서 클래스별 평균 정밀도에 8.4%의 절대적 향상을 이룩했으며, 검출 시나리오에서 영역이 누락되는 경우에도 뛰어난 강건성을 보였다.

ABSTRACT

We present a novel framework for iterative visual reasoning. Our framework goes beyond current recognition systems that lack the capability to reason beyond stack of convolutions. The framework consists of two core modules: a local module that uses spatial memory to store previous beliefs with parallel updates; and a global graph-reasoning module. Our graph module has three components: a) a knowledge graph where we represent classes as nodes and build edges to encode different types of semantic relationships between them; b) a region graph of the current image where regions in the image are nodes and spatial relationships between these regions are edges; c) an assignment graph that assigns regions to classes. Both the local module and the global module roll-out iteratively and cross-feed predictions to each other to refine estimates. The final predictions are made by combining the best of both modules with an attention mechanism. We show strong performance over plain ConvNets, \eg achieving an $8.4\%$ absolute improvement on ADE measured by per-class average precision. Analysis also shows that the framework is resilient to missing regions for reasoning.

연구 동기 및 목표

• 기존의 인식 시스템이 단지 쌓인 컨볼루션에 의존하고 전역 추론 능력을 갖추지 못하는 한계를 해결한다.
• 외부 지식 기반에서의 구조화된 지식을 통합하여 희귀하거나 미리보지 않은 의미적 관계 학습의 데이터 부족 문제를 해결한다.
• 실제 검출 파이프라인에서 흔히 발생하는 영역 입력이 불완전한 상황에서도 강건한 시각적 추론을 가능하게 한다.
• 지역 모듈과 전역 모듈 간의 상호 보완적 피드백을 통해 주의 메커니즘을 활용해 반복적으로 예측을 정밀하게 다듬는 통합 추론 시스템을 개발한다.
• 공간적 및 의미적 관계를 명시적으로 모델링하여 세분화된 장면 이해 작업에서 성능을 향상시킨다.

제안 방법

• 반복 과정에서 지역 수준의 믿음 상태를 효율적으로 유지하고 개선하기 위해 병렬 업데이트 방식을 사용하는 공간 메모리 기반 지역 모듈을 활용한다 [4].
• 세 가지 상호 연결된 그래프를 포함하는 전역 그래프 추론 모듈을 구성한다: 객체 클래스 간의 의미적 관계를 인코딩하는 지식 그래프, 이미지 영역 간의 공간적 관계를 포착하는 영역 그래프, 영역과 클래스를 연결하는 할당 그래프.
• 공간적 및 의미적 관계를 사용하여 예측을 전파하고 개선하기 위해 전역 그래프를 통해 반복적인 메시지 전달을 구현한다.
• 지역 모듈과 전역 모듈 간의 반복적 상호 공급을 통해 서로 다른 추상화 수준에서 상호 보완적 개선을 가능하게 한다.
• 각 출력에 대해 가장 관련성이 높은 특징을 동적으로 가중하는 주의 메커니즘을 사용해 두 모듈의 최종 예측을 통합한다.
• 특히 영역 누락 조건에서의 강건성과 수렴성을 향상시키기 위해 재가중 및 반복적 추론 전략을 적용한다.

실험 결과

연구 질문

• RQ1 공간적 및 의미적 관계를 모두 통합한 시각적 추론 프레임워크가 복잡한 장면 이해 작업에서 표준 ConvNet 기반 모델보다 뚜렷이 승리할 수 있는가?
• RQ2 외부 지식 기반에서의 구조화된 지식 통합이 희귀하거나 미리보지 않은 클래스에 대해 추론 성능을 어떻게 향상시키는가?
• RQ3 부정확한 영역 제안 네트워크로 인해 영역이 누락될 경우, 이 프레임워크는 얼마나 높은 성능을 유지할 수 있는가?
• RQ4 지역 모듈과 전역 모듈 간의 반복적 상호 공급이 단독 모듈보다 더 정확하고 안정적인 예측을 이끌어내는가?
• RQ5 장거리 의존성과 맥락적 관계를 모델링하는 데 있어 그래프 기반 추론 메커니즘은 종단 간 컨볼루션 네트워크보다 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 기준 ConvNet 대비 ADE20K 데이터셋에서 클래스별 평균 정밀도에 8.4%의 절대적 향상을 이룩했으며, 깊이를 높여서만 성능을 향상시키는 모델보다 뚜렷이 뛰어난 성능을 보였다.
• COCO 데이터셋에서는 모든 클래스가 객체 수준일 때에도 클래스별 평균 정밀도에 3.7%의 절대적 향상을 기록하여 검출 중심 벤치마크에서 강력한 일반화 능력을 입증했다.
• 전역 그래프 모듈만으로도 지역 모듈를 초월하는 성능을 기록했으며, 이는 구조화된 그래프를 통한 장거리 영역 간 통신이 국소 수용장 이론을 초월한 추론 능력을 향상시킨다는 것을 시사한다.
• 이 프레임워크는 영역 누락에 매우 강건하다: 실제 지도 영역의 30.5%만 유지되었을 때 (IoU 임계값 δ = 0.8) '후처리' 필터링 설정에서도 기준 모델 대비 2.4%의 성능 우위를 유지했다.
• 영역 손실이 증가함에 따라 성능 저하가 점진적으로 발생하며, 매우 낮은 재현율(δ = 0.9, 재현율 3.9%)일 경우에만 추론이 성능을 떨어뜨리는 것으로 나타나, 입력이 불완전한 상황에서도 프레임워크의 안정성을 확인했다.
• 제거 실험 결과, 지식 그래프나 공간적 관계를 제거할 경우 성능 저하가 심각하게 발생함을 확인했으며, 효과적인 추론을 위해 두 구성 요소 모두의 필요성을 입증했다.