[논문 리뷰] Relation Transformer Network

Rajat Koner, Shit, Suprosanna외 1명|arXiv (Cornell University)|2020. 04. 13.

Multimodal Machine Learning Applications참고 문헌 58인용 수 5

한 줄 요약

이 논문은 시각적 관계를 추론하는 데 있어 객체 간 상호작용을 인코더의 자기주의 어텐션과 디코더의 교차 어텐션을 통해 모델링하는 새로운 트랜스포머 기반 아키텍처인 관계 트랜스포머 네트워크(RTN)를 제안한다. 또한 간선에 대한 새로운 위치 인코딩을 도입하여 시각적 장면의 전역적이고 국소적인 정보를 효과적으로 유지하며, Visual Genome에서 4.85% 향상된 평균 리콜을 달성하고 GQA에서 3.1% 향상된 성능을 기록하여 최신 기술(SOTA)을 달성한다.

ABSTRACT

The extraction of a scene graph with objects as nodes and mutual relationships as edges is the basis for a deep understanding of image content. Despite recent advances, such as message passing and joint classification, the detection of visual relationships remains a challenging task due to sub-optimal exploration of the mutual interaction among the visual objects. In this work, we propose a novel transformer formulation for scene graph generation and relation prediction. We leverage the encoder-decoder architecture of the transformer for rich feature embedding of nodes and edges. Specifically, we model the node-to-node interaction with the self-attention of the transformer encoder and the edge-to-node interaction with the cross-attention of the transformer decoder. Further, we introduce a novel positional embedding suitable to handle edges in the decoder. Finally, our relation prediction module classifies the directed relation from the learned node and edge embedding. We name this architecture as Relation Transformer Network (RTN). On the Visual Genome and GQA dataset, we have achieved an overall mean of 4.85% and 3.1% point improvement in comparison with state-of-the-art methods. Our experiments show that Relation Transformer can efficiently model context across various datasets with small, medium, and large-scale relation classification.

연구 동기 및 목표

• 시각적 객체 간 상호작용을 최적화하지 못하는 문제를 해결하기 위해.
• 구조화된 트랜스포머 아키텍처를 통해 전역적이고 국소적 맥락을 활용하여 시각적 관계 예측 성능을 향상시키기 위해.
• 디코더에서 객체 간 관계를 모델링하기 위해 국소 맥락을 유지하면서 전역 장면 정보를 누적하는 새로운 간선용 위치 인코딩을 설계하기 위해.
• 특화된 관계 예측 모듈을 통해 문맥 기반 노드 및 간선 표현을 통합하여 관계 분류 성능을 향상시키기 위해.
• 예측 헤드에서 빈도 편향(frequency bias)을 활용하여 시각적 관계 검출에서의 클래스 불균형 문제를 완화하기 위해.

제안 방법

• 자기주의 어텐션을 통해 객체 간 상호작용(N2N)을 모델링하는 트랜스포머 인코더를 사용하여 객체 간 전역 맥락을 포착한다.
• 교차 어텐션을 통해 간선-노드 상호작용(E2N)을 모델링하는 트랜스포머 디코더를 활용하여 맥락 인식 기반의 관계 예측을 가능하게 한다.
• 원천이 되는 노드 식별자와 공간적 근접도를 인코딩하는 새로운 간선용 위치 인코딩을 도입하여 전역 집계 과정에서 국소 맥락을 유지한다.
• 객체 특징(공간적 및 의미적 임베딩)과 학습된 위치 인코딩을 결합하여 트랜스포머 인코더 및 디코더의 입력으로 사용한다.
• 노드 및 간선 표현을 융합한 결과를 바탕으로 방향성 예측어(의미적 관계)를 분류하기 위해 전역 평균 풀링과 빈도 편향을 활용하는 관계 예측 모듈(RPM)을 적용한다.
• 시나리오 그래프의 삼중체 분류를 위해 표준 크로스 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 시각적 관계 예측을 위해 노드-노드 및 간선-노드 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 간선에 대한 새로운 위치 인코딩이 시나리오 그래프 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ3 전역 맥락과 국소 노드 정보를 통합할 경우 관계 분류 정확도는 어느 정도 향상되는가?
• RQ4 디코더의 자기주의 어텐션 및 예측 헤드의 빈도 편향 같은 아키텍처 구성 요소가 긴 꼬리 분포 데이터셋에서 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 관계 트랜스포머 네트워크(RTN)는 크기와 관계 복잡도가 다른 다양한 데이터셋 간에서 일반화 가능한가?

주요 결과

• RTN은 기존 최신 기술 대비 Visual Genome 데이터셋에서 평균 리콜 4.85% 향상된 성능을 기록한다.
• GQA 데이터셋에서는 이전 최신 기술 대비 평균 리콜 3.1% 향상된 성능을 달성한다.
• 제거 실험 결과, 제안된 간선용 위치 인코딩을 제거할 경우 성능 저하가 발생하여 국소 및 전역 맥락을 유지하는 데 그 효과가 입증된다.
• 단어 임베딩을 제거할 경우 리콜이 50에서 0.6% 감소하여, 단어 임베딩의 의미적 정보가 관계 예측에 핵심적임을 시사한다.
• 빈도 편향을 제거할 경우 리콜이 50에서 1.6% 급격히 감소하여, 긴 꼬리 분포 데이터셋에서 클래스 불균형 문제를 완화하는 데 빈도 편향의 중요성을 확인한다.
• 모든 구성 요소인 단어 임베딩, 공간 임베딩, 전역 평균 풀링, 빈도 편향을 모두 사용할 경우 Visual Genome에서 100 리콜 기준 68.7%의 최고 성능을 기록한다.