[논문 리뷰] CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation

Jing Yu, Yuan Chai외 3명|arXiv (Cornell University)|2020. 09. 16.

Multimodal Machine Learning Applications참고 문헌 37인용 수 7

한 줄 요약

이 논문은 비편향적 장면 그래프 생성을 위한 새로운 인지 기반 손실 함수인 CogTree를 제안한다. CogTree는 편향된 모델 예측에서 계층적인 인지 트리를 구성하여 관계의 군집에서부터 세분화된 구분까지의 계층적 구분을 가능하게 한다. 의미적 유사성 기반으로 관계를 트리 구조로 정렬하고, 모델 독립적인 손실 함수로 훈련함으로써 CogTree는 장꼬리 분포 관계 예측에서 성능을 크게 향상시키며, 다양한 SGG 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Scene graphs are semantic abstraction of images that encourage visual understanding and reasoning. However, the performance of Scene Graph Generation (SGG) is unsatisfactory when faced with biased data in real-world scenarios. Conventional debiasing research mainly studies from the view of balancing data distribution or learning unbiased models and representations, ignoring the correlations among the biased classes. In this work, we analyze this problem from a novel cognition perspective: automatically building a hierarchical cognitive structure from the biased predictions and navigating that hierarchy to locate the relationships, making the tail relationships receive more attention in a coarse-to-fine mode. To this end, we propose a novel debiasing Cognition Tree (CogTree) loss for unbiased SGG. We first build a cognitive structure CogTree to organize the relationships based on the prediction of a biased SGG model. The CogTree distinguishes remarkably different relationships at first and then focuses on a small portion of easily confused ones. Then, we propose a debiasing loss specially for this cognitive structure, which supports coarse-to-fine distinction for the correct relationships. The loss is model-agnostic and consistently boosting the performance of several state-of-the-art models. The code is available at: https://github.com/CYVincent/Scene-Graph-Transformer-CogTree.

연구 동기 및 목표

• 장면 그래프 생성에서 데이터 편향으로 인해 희귀(꼬리) 관계가 과소 예측되는 장꼬리 분포 문제를 해결하기 위해.
• 전두엽 피질의 인지 처리 방식을 영감으로 받아 인간과 유사한 계층적 추론을 시각적 관계 예측에 모델링하기 위해.
• 세분화된 관계의 구분을 가능하게 하는 탈편향 손실을 개발하여 의미적으로 유사하지만 잘못된 클래스 간 간섭을 줄이기 위해.
• 다양한 최신 SGG 아키텍처에서 성능 향상을 지원하는 모델 독립적 손실 함수를 만들기 위해.

제안 방법

• 편향된 SGG 모델 예측에서 CogTree 계층을 구성하여 의미적 개념(예: 'on' vs. 'near') 기반으로 관계를 군집화하고, 거시적에서 미세한 정도로의 분류 순서로 정렬한다.
• 트리 기반 분류 손실(ℒ_TCB)을 정의하여 각 계층 수준에서 정확한 예측을 장려하며, 고수준 개념에서 시작하여 세분화된 구분으로 점진적으로 정밀화한다.
• 일반적인 관계 학습을 유지하기 위해 평탄한 분류 손실(ℒ_CB)을 통합하고, 트리 기반 손실은 계층적 구분에 집중한다.
• 관계 예측이 더 어려운 경우, 특히 꼬리 클래스에서 더 강조하기 위해 손실 함수에 주의 기반 가중치를 적용한다.
• 두 원칙에 따라 CogTree를 구축한다: (1) 동일한 의미적 개념에 속하는 관계는 하위 트리를 형성하고, (2) 하위 트리는 거시적에서 미세한 수준으로 계층적으로 구성된다.
• 하이퍼파라미터 λ를 최적화하여 ℒ_TCB와 ℒ_CB의 가중 조합을 사용해 훈련 중 CogTree 손실을 적용한다.

실험 결과

연구 질문

• RQ1 인간의 거시적-세분화된 추론을 모방함으로써 관계의 인지 계층이 장꼬리 분포 장면 그래프 생성을 향상시킬 수 있는가?
• RQ2 아키텍처 변경 없이도 계층적 분류를 지원할 수 있는 모델 독립적 손실 함수를 어떻게 설계할 수 있는가?
• RQ3 관계를 트리 구조로 정렬함으로써 의미적으로 유사하지만 잘못된 관계 간의 간섭을 어느 정도 줄일 수 있는가?
• RQ4 CogTree 손실은 다양한 SGG 모델과 벤치마크에서 일관되게 성능 향상을 이끌어낼 수 있는가?

주요 결과

• CogTree는 VG-150K 데이터셋에서 최신 기준 성능을 달성하였으며, Predicate Classification에서 mR@20/50/100 점수는 각각 22.89 / 28.38 / 30.97로, 이전의 탈편향 방법을 뛰어넘었다.
• 제거 실험을 통해 트리 기반 손실(ℒ_TCB)과 평탄한 손실(ℒ_CB) 모두 기여함을 확인하였으며, 특히 ℒ_TCB가 성능 향상에 더 큰 영향을 미쳤다.
• 노드 확률 계산에 MAX나 SUM 대신 AVERAGE를 사용할 경우 가장 우수한 성능를 기록하였으며, 이는 예측 신뢰도를 더 잘 균형 잡고 잘못된 페널티를 줄이기 때문이다.
• 인지 트리 구축 원칙을 위반할 경우(예: 서로 다른 개념이나 계층의 관계를 혼합할 경우) 성능 저하가 심각하게 발생한다.
• 최적의 하이퍼파라미터 λ = 1이 전체 성능을 최적화하며, [0.7, 1.3] 범위 내에서 최소한의 성능 저하가 발생한다.
• 정성적 분석 결과, CogTree는 세분화된 관계 예측(예: 'parked on' vs. 'standing on')을 크게 향상시키고, 외관적으로 유사한 관계 간의 혼동을 줄였다.