[논문 리뷰] Mapping Images to Scene Graphs with Permutation-Invariant Structured Prediction

Roei Herzig, Moshiko Raboh외 3명|arXiv (Cornell University)|2018. 02. 15.

Multimodal Machine Learning Applications참고 문헌 28인용 수 68

한 줄 요약

이 논문은 그래프 순열 불변(GPI) 딥 아키텍처를 제시하여 이미지에서 장면 그래프를 생성하고, 필요충분조건 형태를 증명하며 Visual Genome에서 최첨단 성능을 달성한다.

ABSTRACT

Machine understanding of complex images is a key goal of artificial intelligence. One challenge underlying this task is that visual scenes contain multiple inter-related objects, and that global context plays an important role in interpreting the scene. A natural modeling framework for capturing such effects is structured prediction, which optimizes over complex labels, while modeling within-label interactions. However, it is unclear what principles should guide the design of a structured prediction model that utilizes the power of deep learning components. Here we propose a design principle for such architectures that follows from a natural requirement of permutation invariance. We prove a necessary and sufficient characterization for architectures that follow this invariance, and discuss its implication on model design. Finally, we show that the resulting model achieves new state of the art results on the Visual Genome scene graph labeling benchmark, outperforming all recent approaches.

연구 동기 및 목표

• 다중 객체 장면에서 딥 구조화 예측을 위한 순열 불변성의 사용을 동기화한다.
• 순열 불변 아키텍처의 필요충분한 특성화를 도출한다.
• 이미지를 장면 그래프로 매핑하기 위한 GPI 기반 모델을 제안한다.
• Visual Genome에서 데이터 효율성과 최첨단 성능을 실증적으로 입증한다.

제안 방법

• 구조화된 예측 출력에 대한 그래프 순열 불변(GPI)을 정의한다.
• GPI 함수가 존재하려면 특정 아키텍처를 통해 구현될 수 있는 필요충분조건을 보증한다: y_k = rho(z_k, sum_i alpha(z_i, sum_{j≠i} phi(z_i, z_{i,j}, z_j))) for all k.
• phi, alpha, rho가 그래프의 글로벌 정보를 순열 불변 방식으로 집계하는 방법을 보여준다.
• 자동동형을 통한 불완전 그래프에 대한 확장을 논의한다.
• 주의 집중(attention)과 순환 변형이 GPI 프레임워크에 어떻게 적합한지 설명한다.
• 엔터티와 관계 변수 및 이웃에 대한 주의 집중을 사용하는 GPI를 활용한 Scene Graph Predictor(SGP)를 제시한다.

실험 결과

연구 질문

• RQ1 순열 불변성이 그래프를 위한 딥 구조화 예측 설계에 어떻게 가이드를 제공하는가?
• RQ2 그래프 순열 불변(GPI)을 보장하면서도 장면 그래프 예측과 같은 복잡한 작업에 충분히 표현력이 있는 정확한 아키텍처 형태는 무엇인가?
• RQ3 GPI 기반 모델이 비-GPI 딥 모델에 비해 장면 그래프 생성에서 데이터 효율성과 성능을 향상시키는가?
• RQ4 주목(attention)과 순환 구성요소를 GPI 프레임워크에 통합하여 확장 가능하고 병렬 가능한 예측이 가능한가?

주요 결과

• GPI 아키텍처는 합성 그래프 표기 태스크에서 올바른 해에 수렴하는 데 필요한 샘플이 더 적게 필요한 경우가 있다.
• 주의 집중과 언어적 특징을 갖춘 GPI 기반 Scene Graph Predictor(SGP)는 SGCls에서 최첨단 리콜을 달성하고 Visual Genome의 PredCls에서 경쟁력 있는 결과를 보인다.
• 주목 없음, 이웃 주의 집중, 언어적 변형 등 GPI의 변형이 제약된 및 제약되지 않은 평가에서 일관되게 베이스라인을 능가한다.
• 제안된 모델은 관련 이웃 엔터티에 주의를 기울여 예측을 정제하는 능력을 효과적으로 학습한다.