[논문 리뷰] Exploring the Hierarchy in Relation Labels for Scene Graph Generation

Yi Zhou, Shuyang Sun외 3명|arXiv (Cornell University)|2020. 09. 12.

Multimodal Machine Learning Applications참고 문헌 32인용 수 6

한 줄 요약

이 논문은 다층 레이블 계층을 사용하여 의미 관계를 모델링하고, 근사적이고 세밀한 감독을 통합함으로써 특징 학습을 향상시키는 계층 구조 지도 접근법을 제안한다. Hierarchy Guided Feature Learning (HGFL)과 계층 구조 지도 모듈(HGM)을 도입함으로써 추론 비용을 최소화하면서도 여러 데이터셋에서 Recall@50에 최대 33%의 상대적 향상을 달성한다.

ABSTRACT

By assigning each relationship a single label, current approaches formulate the relationship detection as a classification problem. Under this formulation, predicate categories are treated as completely different classes. However, different from the object labels where different classes have explicit boundaries, predicates usually have overlaps in their semantic meanings. For example, sit\_on and stand\_on have common meanings in vertical relationships but different details of how these two objects are vertically placed. In order to leverage the inherent structures of the predicate categories, we propose to first build the language hierarchy and then utilize the Hierarchy Guided Feature Learning (HGFL) strategy to learn better region features of both the coarse-grained level and the fine-grained level. Besides, we also propose the Hierarchy Guided Module (HGM) to utilize the coarse-grained level to guide the learning of fine-grained level features. Experiments show that the proposed simple yet effective method can improve several state-of-the-art baselines by a large margin (up to $33\%$ relative gain) in terms of Recall@50 on the task of Scene Graph Generation in different datasets.

연구 동기 및 목표

• 예측자 레이블을 상호 의미적 겹침이 존재함에도 불구하고 독립된 클래스로 간주하는 데서 비롯하는 한계를 해결하기 위해.
• 인간과 기계의 이해 기반으로 구성된 계층적 조직을 통해 관계 레이블의 본질적 의미적 구조를 모델링하기 위해.
• 모호한 예측자 수준과 세밀한 예측자 수준을 동시에 감독하여 영역 특징 학습을 향상시키기 위해.
• 모호한 특징과 세밀한 특징 간의 다수 수준 상관관계를 활용하여 특징 표현을 향상시키기 위해.
• 최소한의 계산 오버헤드로 최신 기술 모델을 향상시키는 일반화 가능한 방법을 개발하기 위해.

제안 방법

• 의미적 겹침이 있는 관계를 부모 클래스(모호한 수준)로 군집화하고 원래의 레이블(세밀한 수준)을 유지하여 예측자 레이블 계층을 구성한다.
• 모호한 수준과 세밀한 수준의 레이블을 동시에 사용하여 특징을 공동 최적화하는 이중 브랜치 학습 전략인 Hierarchy Guided Feature Learning (HGFL)을 제안한다.
• 모호한 수준과 세밀한 수준의 특징 간의 영역별 및 채널별 상관관계를 모델링하여 특징 정제를 위한 Hierarchy Guided Module (HGM)을 설계한다.
• 기존의 시나리오 그래프 생성 프레임워크 내부에 HGFL과 HGM을 적용하며 추론 파이프라인을 수정하지 않는다.
• 인간과 기계가 애너테이션한 의미적 이해를 기반으로 예측자 계층의 구축을 지도한다.
• 계층의 두 수준에서 다중 작업 감독을 통해 엔드 투 엔드로 모델을 훈련시켜 모호한 수준과 세밀한 수준 간의 지식 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 시나리오 그래프 생성에서 관계 레이블 간의 의미적 겹침을 효과적으로 모델링할 수 있는가?
• RQ2 모호한 수준과 세밀한 수준의 예측자 레이블에서 동시에 학습하는 것이 특징 표현과 성능 향상에 기여하는가?
• RQ3 모호한 수준과 세밀한 수준의 특징 간의 다수 수준 상관관계를 어떻게 활용하여 영역 특징을 정밀하게 개선할 수 있는가?
• RQ4 제안된 방법이 다양한 데이터셋과 백본 아키텍처에서 일반화되는가?
• RQ5 기본 분류 방식에 비해 계층적 감독을 사용할 경우 성능 향상의 상대적 비율은 얼마인가?

주요 결과

• 제안된 HGFL 전략은 VG-DR-Net 데이터셋에서 최대 33%의 상대적 Recall@50 향상을 달성했고, VG-MSDN 데이터셋에서는 18.9% 향상되었다.
• 계층 구조 지도 모듈(HGM)은 HGFL만으로도 달성한 성능을 기반으로 Recall@50에서 추가로 5% 이상의 상대적 향상을 제공한다.
• VG-MSDN 및 VG-DR-Net 데이터셋에서 최신 기술 모델을 모두 압도하며, 이전의 IH-Tree와 같은 방법보다 뛰어난 성능을 보였다.
• 네 가지 다른 시나리오 그래프 생성 프레임워크에서 일반화되었으며, 모든 프레임워크에서 일관되게 성능 향상을 보였다.
• 훈련 비용은 약간 증가했지만 추론 비용은 추가로 발생하지 않아 실질적인 구현에 매우 유용하다.
• VG-H 데이터셋의 세 가지 작업에서 평균 Recall@50와 @100에서 4.27% 향상되었으며, IH-Tree의 2.01% 향상보다 뛰어나다.