[논문 리뷰] Learning from the Scene and Borrowing from the Rich: Tackling the Long Tail in Scene Graph Generation

Tao He, Lianli Gao외 3명|arXiv (Cornell University)|2020. 06. 13.

Multimodal Machine Learning Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 시각적 장면에서 흔한 관계와 희귀 관계의 분포 불균형 문제를 해결하기 위해 장면-객체 상호작용, 헤드 관계에서 테일 관계로의 지식 전이, 특징 校정을 통합한 새로운 프레임워크를 제안한다. 추가적 어텐션을 통해 맥락적 장면 정보를 활용하고 흔한 관계에서 희귀 관계로 풍부한 지식을 전이함으로써 Visual Genome에서 최신 기술 수준의 성능을 달성하며, 특히 테일 관계 탐지 성능을 2–3%p 향상시켰다.

ABSTRACT

Despite the huge progress in scene graph generation in recent years, its long-tail distribution in object relationships remains a challenging and pestering issue. Existing methods largely rely on either external knowledge or statistical bias information to alleviate this problem. In this paper, we tackle this issue from another two aspects: (1) scene-object interaction aiming at learning specific knowledge from a scene via an additive attention mechanism; and (2) long-tail knowledge transfer which tries to transfer the rich knowledge learned from the head into the tail. Extensive experiments on the benchmark dataset Visual Genome on three tasks demonstrate that our method outperforms current state-of-the-art competitors.

연구 동기 및 목표

• 희귀 관계가 충분한 학습 샘플을 확보하지 못하는 시나리오 그래프 생성에서의 장기 분포 문제를 해결한다.
• 빈도가 높은(헤드) 관계에서 유래한 맥락적 장면 정보와 지식을 활용해 저빈도(테일) 관계의 인식 성능을 향상시킨다.
• 객체 표현 학습에 전반적인 장면 맥락을 통합함으로써 모델의 일반화 성능을 향상시킨다.
• 구조적 지식 전이와 특징 校정을 통해 헤드와 테일 관계 간의 성능 격차를 줄인다.
• 시나리오 그래프에서 일반적이고 희귀 관계를 동시에 최적화할 수 있는 종단 간 프레임워크를 개발한다.

제안 방법

• 정답 객체에서 장면 맥락을 추출하기 위해 가중치가 부여된 다중 레이블 분류기를 사용하는 장면-객체 상호작용 모듈을 도입하고, 이를 추가적 어텐션을 통해 시각적 특징과 융합한다.
• 빈도가 높은(헤드) 관계에서 빈도가 낮은(테일) 관계로 표현을 전이하는 지식 전이 모듈을 활용하여 희귀 수식어의 일반화 성능을 향상시킨다.
• 강화 학습에서의 도달 가능성 개념을 영감으로 삼아 특징 校정 연산을 적용하여 헤드 및 테일 특징의 구별 능력을 향상시킨다.
• Faster R-CNN 특징을 입력으로 사용하고 세 모듈을 종단 간으로 통합하여 공동 최적화를 수행한다.
• 공간적 및 시각적 신호 외에도 시각적 및 맥락적 특징을 통합된 아키텍처에서 활용하여 관계 예측 성능을 향상시킨다.
• 장면 맥락, 관계 예측, 특징 校정을 공동 최적화하는 다중 작업 학습 설정을 구현한다.

실험 결과

연구 질문

• RQ1 전반적인 장면 맥락은 어떻게 효과적으로 활용되어 관계 예측, 특히 희귀 관계 예측에 기여할 수 있는가?
• RQ2 빈도가 높은(헤드) 관계에서 유래한 지식은 얼마나 효과적으로 저빈도(테일) 관계의 성능 향상에 기여할 수 있는가?
• RQ3 도달 가능성 개념을 기반으로 한 특징 校정은 헤드 및 테일 관계 특징의 구별 능력을 향상시키는가?
• RQ4 장면-객체 상호작용, 지식 전이, 특징 校정이라는 개별 구성 요소가 전체 성능 향상에 기여하는 정도는 어떠한가?
• RQ5 제안된 방법은 제약 조건이 있는가, 제약 조건이 없는 평가 환경 모두에서 기존 최신 기술 수준의 모델을 초월할 수 있는가?

주요 결과

• 제안된 방법은 이미지 기반, 수식어 기반, 제약 없는 시나리오 그래프 생성이라는 세 가지 표준 평가 과제에서 Visual Genome에서 최신 기술 수준의 성능을 달성한다.
• 장면-객체 상호작용 모듈은 평균 성능을 2–3%p 향상시켜 관계 인식에서 맥락적 장면 신호의 가치를 입증한다.
• 지식 전이 모듈은 하위 10개의 테일 관계에 대해 평균 2–3%p 성능 향상을 이끌었으며, '비행 중'이나 '등에 타고'와 같이 매우 희귀한 관계에서도 뚜렷한 성능 향상을 보였다.
• 특징 校정 모듈은 측정 가능한 0.5%p 향상으로 헤드 및 테일 카테고리의 특징 구별 능력을 향상시켰다.
• 제거 실험 결과 모든 세 모듈이 긍정적인 기여를 하며, 특히 장면-객체 상호작용 모듈이 가장 큰 영향을 미쳤다.
• 정성적 결과에서는 전체 모델이 장면 맥락을 활용해 이전에 놓쳤던 관계(예: '키보드가 테이블 아래에 있다'는 관계를 '스크린 아래에 있다'로 잘못 인식하는 것 대신)를 탐지함을 보여주었다.