[논문 리뷰] Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation

Gengcong Yang, Jingyi Zhang외 3명|arXiv (Cornell University)|2021. 03. 09.

Multimodal Machine Learning Applications참고 문헌 44인용 수 5

한 줄 요약

이 논문은 시각적 관계를 가우시안 분포로 표현하여 의미적 모호성—동의어 관계, 하위관계, 다중 시점 모호성—을 모델링하는 플러그 앤 플레이 확률적 불확실성 모델링(PUM) 모듈을 제안한다. 이를 통해 다양한 가능성이 있는 예측을 가능하게 하며, 불확실성 인식 특징 표현을 통해 확률적 성격을 부여함으로써 평균 재현율을 향상시키고 더 세밀한 관계를 더 잘 커버한다. ResCAGCN과 조합했을 때 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To generate "accurate" scene graphs, almost all existing methods predict pairwise relationships in a deterministic manner. However, we argue that visual relationships are often semantically ambiguous. Specifically, inspired by linguistic knowledge, we classify the ambiguity into three types: Synonymy Ambiguity, Hyponymy Ambiguity, and Multi-view Ambiguity. The ambiguity naturally leads to the issue of \emph{implicit multi-label}, motivating the need for diverse predictions. In this work, we propose a novel plug-and-play Probabilistic Uncertainty Modeling (PUM) module. It models each union region as a Gaussian distribution, whose variance measures the uncertainty of the corresponding visual content. Compared to the conventional deterministic methods, such uncertainty modeling brings stochasticity of feature representation, which naturally enables diverse predictions. As a byproduct, PUM also manages to cover more fine-grained relationships and thus alleviates the issue of bias towards frequent relationships. Extensive experiments on the large-scale Visual Genome benchmark show that combining PUM with newly proposed ResCAGCN can achieve state-of-the-art performances, especially under the mean recall metric. Furthermore, we prove the universal effectiveness of PUM by plugging it into some existing models and provide insightful analysis of its ability to generate diverse yet plausible visual relationships.

연구 동기 및 목표

• 기존의 결정론적 방법이 간과하는 시각적 관계의 의미적 모호성으로 인한 암묵적 다중 레이블 문제를 해결한다.
• 언어학 지식에 영감을 받아 세 가지 유형의 의미적 모호성—동의어 관계, 하위관계, 다중 시점 모호성—을 모델링한다.
• 특징 표현에 불확실성을 도입하여 다양한 그러나 타당한 예측을 가능하게 한다.
• 희귀하고 세밀한 관계의 커버리지 향상으로 빈도 높은 동사에 대한 편향을 완화한다.
• 기존 SGG 모델과 호환되는 플러그 앤 플레이 모듈(PUM)을 개발하여 보편적으로 성능 향상을 이룬다.

제안 방법

• 각 유니언 영역을 학습 가능한 평균과 분산을 가진 가우시안 분포로 표현하며, 분산은 시각적 콘텐츠의 불확실성을 캡처한다.
• 각 특징을 가우시안 분포에서 추출된 랜덤 변수로 간주하여 확률적 성격을 도입함으로써 다양한 예측을 가능하게 한다.
• 확률적 표현을 사용해 시각적 관계를 의미 공간 내 소프트 영역로 매핑하며, 단일 점이 아닌 영역으로 표현한다.
• 아키텍처 변경 없이 ResCAGCN과 같은 기존 SGG 모델에 PUM을 플러그 앤 플레이 모듈로 통합한다.
• 불확실성 모델링을 활용해 자연스럽게 다수의 타당한 동사 예측, 예를 들어 동의어, 하위어, 시점에 따라 달라지는 묘사 등을 커버한다.
• 다양성을 평가하기 위해 오라클 재현율(oR) 지표를 사용하며, 이는 M개의 연속 예측 중 하나라도 정답과 일치하면 성공으로 간주한다.

실험 결과

연구 질문

• RQ1 시각적 관계의 의미적 모호성을 모델링하면 시나리오 그래프 예측의 다양성과 타당성이 향상되는가?
• RQ2 불확실성 인식 특징 표현은 시나리오 그래프 생성에서 빈도 높은 관계에 대한 편향을 얼마나 줄이는가?
• RQ3 제안된 PUM 모듈은 다양한 SGG 모델에 대해 플러그 앤 플레이 방식으로 성능 향상을 얼마나 효과적으로 높이는가?
• RQ4 확률적 모델링 방식은 결정론적 접근에 비해 동의어 관계, 하위관계, 다중 시점 모호성을 더 잘 포착하는가?
• RQ5 모델은 동일한 시각적 관계에 대해 인간 애너테이터의 다양성을 반영하는 다수의 타당한 동사를 생성할 수 있는가?

주요 결과

• ResCAGCN와 조합했을 때 PUM은 Visual Genome 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 평균 재현율 지표에서 뛰어난 성능을 보였다.
• ResCAGCN + PUM의 오라클 재현율(oR)은 연속 예측 수(M)가 증가함에 따라 점진적으로 증가하여 효과적인 다양성이 입증되었다.
• M = 1일 때도 PUM은 결정론적 ResCAGCN보다 재현율을 향상시켜 단일 예측 커버리지가 향상됨을 시사한다.
• 정성적 분석 결과 PUM은 의미적으로 유사한 동사(예: carrying vs. holding, on vs. laying on)를 생성하며, 시점 차이를 잘 포착한다(예: using vs. in front of).
• PUM은 세밀한 관계를 효과적으로 커버하여 기존 모델에서 관찰되는 빈도 높은 동사에 대한 편향을 줄였다.
• PUM의 플러그 앤 플레이 성격은 다양한 기존 SGG 모델에서 일관된 성능 향상을 통해 검증되었다.