[논문 리뷰] Tackling the Unannotated: Scene Graph Generation with Bias-Reduced Models

Tzu-Jui Julius Wang, Selen Pehlivan외 1명|arXiv (Cornell University)|2020. 08. 18.

Multimodal Machine Learning Applications참고 문헌 39인용 수 20

한 줄 요약

이 논문은 Visual Genome에서 불완전하고 희소한 애너테이션으로 인한 애너테이션 편향을 줄이기 위해 자기학습된 지식을 활용하는 두 교사 지식 정복 기반의 편향 감소 장면 그래프 생성 프레임워크를 제안한다. 서로 다른 인덕티브 바이어스를 가진 두 관계 분류기로 훈련함으로써, 평균 재현율(mR@100)을 최대 +20.4% 향상시키면서 전체 재현율(R@100)의 손실를 최소화하여 Motifs와 VCTree와 같은 최신 기술 모델들을 초월하는 성능을 달성한다. 이는 모든 표준 SGG 벤치마크에서 성능을 뛰어나게 한다.

ABSTRACT

Predicting a scene graph that captures visual entities and their interactions in an image has been considered a crucial step towards full scene comprehension. Recent scene graph generation (SGG) models have shown their capability of capturing the most frequent relations among visual entities. However, the state-of-the-art results are still far from satisfactory, e.g. models can obtain 31% in overall recall R@100, whereas the likewise important mean class-wise recall mR@100 is only around 8% on Visual Genome (VG). The discrepancy between R and mR results urges to shift the focus from pursuing a high R to a high mR with a still competitive R. We suspect that the observed discrepancy stems from both the annotation bias and sparse annotations in VG, in which many visual entity pairs are either not annotated at all or only with a single relation when multiple ones could be valid. To address this particular issue, we propose a novel SGG training scheme that capitalizes on self-learned knowledge. It involves two relation classifiers, one offering a less biased setting for the other to base on. The proposed scheme can be applied to most of the existing SGG models and is straightforward to implement. We observe significant relative improvements in mR (between +6.6% and +20.4%) and competitive or better R (between -2.4% and 0.3%) across all standard SGG tasks.

연구 동기 및 목표

• Visual Genome(VG) 데이터셋의 불균형하고 불완전하며 희소한 애너테이션으로 인한 장면 그래프 생성(SGG) 모델의 편향을 해결한다.
• 애너테이션 가짜 음성(false negative, aFN)과 부분적으로 참인 양성(Partially True Positive, aPTP) 사례의 영향을 줄여 빈번한 관계(예: 'on', 'has')에 대한 과도한 의존도를 감소시킨다.
• 빈번한 관계의 성능을 희생시키지 않은 채 희귀 및 소수 관계에 대한 일반화 능력을 향상시킨다.
• 기존 SGG 모델에 최소한의 아키텍처 변경으로 쉽게 통합할 수 있는 훈련 방식을 개발한다.

제안 방법

• 한 관계 분류기(교사)가 다른 분류기(학생)를 지도하여 빈번한 관계에 대한 과도한 피팅을 줄이기 위해, 덜 편향된 예측을 제공하는 두 교사 지식 정복 프레임워크를 도입한다.
• 장수분포에 대한 일반화 능력을 향상시키기 위해, 초구형 임베딩 공간을 사용하여 관계 분류를 정규화한다.
• 주 모델(F)은 모든 클래스의 관계를 예측하도록 훈련하며, 미애너테이션된 쌍은 '관계 없음'으로 간주한다. 두 번째 모델(G)은 자기애너테이션된 덜 편향된 예측에서 학습한다.
• 학생 모델의 예측의 부드러움을 제어하기 위해, 정복 손실에 온도 스케일링을 적용하여 다양성과 정확성의 균형을 맞춘다.
• 양측 모델이 미애너테이션 및 모호한 쌍으로부터의 자기지도 학습 지식을 공유하며 공동으로 예측을 개선하는 공학 학습 유사 설정을 구현한다.
• 기존 SGG 모델(Motifs, VCTree 등)에 그래프 제약 조건이 있거나 없거나의 상황에서 적용 가능하도록, 플러그 앤 플레이 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 덜 편향된 교사 모델에서의 지식 정복이 장면 그래프 생성에서 희귀 관계에 대한 일반화 능력을 향상시키는가?
• RQ2 미애너테이션 및 부분적으로 애너테이션된 쌍에서 얻은 자기학습 지식이 SGG 모델의 편향을 얼마나 줄일 수 있는가?
• RQ3 초구형 공간에서의 훈련이 SGG에서 장수분포 관계에 대한 성능 향상에 기여하는가?
• RQ4 제안된 방법은 전체 재현율(R@100)과 평균 클래스별 재현율(mR@100) 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 아키텍처 수정 없이 기존 SGG 모델에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 L2+cKD 프레임워크는 VCTree 기준선 대비 mR@100에서 최대 +20.4%의 상대적 향상을 기록했으며, R@100 평균에서 -0.79%의 손실만 기록했다.
• PrdCls 작업에서 VCTree L2+cKD는 제약 조건 없이 13.02% 향상(11.64% 제약 조건 있음), R@100는 최대 -1.21% 손실 기록.
• SGCls에서 이 방법은 Motifs 기준선 대비 mR@100에서 19.89% 상대적 향상 기록했으며, R@100는 무시할 만한 -1.3% 손실 기록.
• 절단 실험 결과, 정복 손실의 온도 T를 증가시키면 mR@K는 향상되지만, T가 너무 클 경우 R@K가 감소함을 확인하여 다양성과 정확성 사이의 트레이드오프가 존재함을 입증.
• 다수 클래스보다 소수 클래스(예: 'on back of', 'lying on')에서 더 큰 성과 향상을 보이며, 빈번한 관계에 대한 편향 감소를 확인.
• 비제약 설정에서 성능 향상이 가장 뚜렷하게 나타나, 그래프 구조 제약 없이 관련 관계를 더 잘 검색할 수 있음을 시사함.