[논문 리뷰] LinkNet: Relational Embedding for Scene Graph

Sanghyun Woo, Dahun Kim외 2명|arXiv (Cornell University)|2018. 11. 15.

Multimodal Machine Learning Applications참고 문헌 28인용 수 6

한 줄 요약

LinkNet는 시각적 그림자 생성 성능을 향상시키기 위해 이미지 내 모든 객체 인스턴스 간 상호의존성을 모델링하는 관계 임베딩 모듈을 제안한다. 이는 Visual Genome 벤치마크에서 최신 기술 성능(SOTA)을 달성한다. 전역적 맥락과 기하학적 레이아웃 인코딩을 통합함으로써, 개별 객체 특징을 넘어서 관계 분류 성능을 향상시킨다.

ABSTRACT

Objects and their relationships are critical contents for image understanding. A scene graph provides a structured description that captures these properties of an image. However, reasoning about the relationships between objects is very challenging and only a few recent works have attempted to solve the problem of generating a scene graph from an image. In this paper, we present a method that improves scene graph generation by explicitly modeling inter-dependency among the entire object instances. We design a simple and effective relational embedding module that enables our model to jointly represent connections among all related objects, rather than focus on an object in isolation. Our method significantly benefits the main part of the scene graph generation task: relationship classification. Using it on top of a basic Faster R-CNN, our model achieves state-of-the-art results on the Visual Genome benchmark. We further push the performance by introducing global context encoding module and geometrical layout encoding module. We validate our final model, LinkNet, through extensive ablation studies, demonstrating its efficacy in scene graph generation.

연구 동기 및 목표

• 모든 객체 인스턴스 간 의존성을 명시적으로 모델링하여 고립된 상태에서 처리하는 것과는 달리 시각적 그림자 생성을 향상시키는 것.
• 객체 쌍 간의 공동 상호작용을 포착하는 학습 가능한 관계 임베딩 모듈을 통해 관계 분류 정확도를 향상시키는 것.
• 전역적 맥락과 기하학적 레이아웃 신호를 통합하여 시각적 그림자 생성 성능을 추가로 향상시키는 것.
• Visual Genome 데이터셋에서 광범위한 추상화 연구를 통해 각 구성 요소의 효과성을 검증하는 것.

제안 방법

• 관계 임베딩 모듈은 객체 쌍 간의 특징을 사용하여 유사한 어텐션 가중치를 계산하여 상호 객체 의존성의 공동 표현을 가능하게 한다.
• 이 모듈은 학습 가능한 가중치 행렬을 사용하여 관계 가능성에 대한 소프트 인접 행렬을 생성한다.
• 전역적 맥락 인코딩은 전역 평균 풀링과 다중 레이블 분류 헤드를 통해 이미지 전체의 객체 카테고리 존재 여부를 포착한다.
• 기하학적 레이아웃 인코딩은 객체 간 상대적 공간 좌표(예: x, y, w, h)를 사용하여 관계 예측에 공간적 인도적 편향을 제공한다.
• 모델는 객체 검출을 위해 Faster R-CNN 기반으로 구축되며, ROI-align을 사용하여 관계 계산을 위한 고정 크기의 특징을 추출한다.
• 최종 아키텍처인 LinkNet은 모든 모듈을 엔드 투 엔드로 통합하고, 검출, 분류, 관계 예측를 위한 다중 작업 손실을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 모든 객체 인스턴스 간 상호의존성을 모델링하면 시각적 그림자 생성 성능 향상에 기여하는가?
• RQ2 외부 지식 없이도 학습 가능한 관계 임베딩 모듈이 복잡한 관계를 얼마나 효과적으로 포착하는가?
• RQ3 전역적 맥락과 기하학적 레이아웃 인코딩은 관계 분류에 얼마나 기여하는가?
• RQ4 다양한 연산(예: softmax 대비 sigmoid)과 관계 계산 방법(내적 대비 유클리드 거리)은 성능에 어떤 영향을 미치는가?

주요 결과

• LinkNet은 Visual Genome 벤치마크에서 최신 기술 성능(SOTA)을 달성하여 노드 및 엣지 예측 모두에서 이전 방법들을 능가한다.
• 관계 임베딩 모듈만으로도 SOTA 성능을 달성함으로써, 상호 객체 의존성 모델링에서 핵심적인 역할을 한다는 점을 입증한다.
• 기하학적 레이아웃 인코딩 모듈은 '사용 중', '지참 중', '타고 있음'과 같은 공간적으로 정규화된 동사어에 대해 재현율을 크게 향상시킨다.
• 관계 임베딩 행렬에서 행 단위의 softmax 연산이 sigmoid보다 성능이 뛰어나, 어텐션 유사 경쟁 메커니즘이 관계 표현을 향상시킨다는 것을 시사한다.
• 내적 관계 계산 방법이 유클리드 거리보다 略로 뛰어나지만, 둘 다 추가 모듈의 도움을 받아 성능 향상을 보이며 강건성을 입증한다.
• 관계 임베딩 행렬의 시각화 결과는 희박한 애너테이션 조건에서도 모델이 정답 관계를 정확히 표현하는 것을 확인할 수 있다.