[논문 리뷰] Learning to Compose Visual Relations

Nan Liu, Shuang Li외 3명|arXiv (Cornell University)|2021. 11. 17.

Visual Attention and Saliency Detection인용 수 12

한 줄 요약

이 논문은 각 관계를 비정규화된 밀도로 표현하여 이미지 내 시각적 관계를 구성하는 인과적 에너지 기반 모델(EBM)을 제안한다. 이는 다중 관계를 가진 시나리오의 충실한 생성 및 편집을 가능하게 한다. 제안된 방법은 CLEVR 및 Blender와 같은 데이터셋에서 관계 기반 시나리오 이해, 의미적 동치성 탐지, 그리고 zero-shot 일반화 성능에서 베이스라인을 능가한다.

ABSTRACT

The visual world around us can be described as a structured set of objects and their associated relations. An image of a room may be conjured given only the description of the underlying objects and their associated relations. While there has been significant work on designing deep neural networks which may compose individual objects together, less work has been done on composing the individual relations between objects. A principal difficulty is that while the placement of objects is mutually independent, their relations are entangled and dependent on each other. To circumvent this issue, existing works primarily compose relations by utilizing a holistic encoder, in the form of text or graphs. In this work, we instead propose to represent each relation as an unnormalized density (an energy-based model), enabling us to compose separate relations in a factorized manner. We show that such a factorized decomposition allows the model to both generate and edit scenes that have multiple sets of relations more faithfully. We further show that decomposition enables our model to effectively understand the underlying relational scene structure. Project page at: https://composevisualrelations.github.io/.

연구 동기 및 목표

• 관계가 얽히고설킨 상호의존적인 관계가 존재하는 이미지 내에서 다중 시각적 관계를 구성하는 데 도전하는 것.
• 지표 객체 위치나 세그멘테이션 마스크 없이도 관계 기반 시나리오 기술에 기반한 정확한 이미지 생성 및 편집을 가능하게 하는 것.
• 예를 들어 '캐비닛이 소파 앞에 있다'와 '소파가 캐비닛 뒤에 있다'처럼 의미적으로 동치인 관계 기술 간의 차이를 구분할 수 있도록 강건성을 향상시키는 것.
• 微조정(fine-tuning) 없이도 새로운 데이터셋(예: Blender)에 대해 zero-shot 일반화를 달성하는 것.
• 전체 시나리오가 아니라 개별 관계에 대해 인과적으로 모델링하는 구성적 프레임워크를 개발하는 것.

제안 방법

• 각 시각적 관계는 에너지 기반 모델(EBM)을 사용해 비정규화된 에너지 밀도로 모델링되며, 이는 인과적 조합을 가능하게 한다.
• 전체 시나리오는 개별 관계의 에너지 밀도 곱으로 표현되며, 이는 관계 간의 상호작용이 자연스럽게 유도됨을 의미한다.
• 학습된 이미지 임베딩(예: CLIP 또는 훈련된 인코더에서 유도)을 사용해 EBM를 시각적 및 텍스트 입력에 조건화한다.
• 이미지 생성 및 편집은 구성된 에너지 함수에 대해 최적화(예: 랭지에빈 역동성)를 통해 수행된다.
• 관계 이해는 주어진 이미지에 대해 다양한 관계 기술 간 상대적 에너지 점수를 비교함으로써 달성된다.
• 이미지 및 관계 임베딩 간의 정렬을 위해 대조 학습을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 인과적 EBM 프레임워크는 종합적 또는 어텐션 기반 모델에 비해 다중 관계가 조합된 이미지를 더 충실하게 생성할 수 있는가?
• RQ2 기존 관계를 유지하면서 새로운 관계 기술을 이미지에 편집할 수 있는가?
• RQ3 모델은 의미적으로 동치이지만 동치가 아닌 관계 기술 기반 시나리오를 구분할 수 있는가?
• RQ4 微조정 없이도 다른 데이터셋(예: Blender)의 관계 기술 및 시나리오에 대해 일반화할 수 있는가?
• RQ5 기존의 멀티모odal 모델(예: CLIP)에 비해 EBM 기반 접근법이 시나리오의 기저 관계 구조를 더 잘 포착하는가?

주요 결과

• 제안된 EBM 기반 방법은 미리 훈련되지 않은 Blender 데이터셋에서 이미지-텍스트 검색 성능에서 CLIP 및 기타 베이스라인을 크게 능가하며, 강력한 zero-shot 일반화 능력을 입증한다.
• CLEVR 및 iGibson 데이터셋에서, 의미적으로 동치인 관계 기술 간의 상대적 점수 차이는 동치이지만 잘못된 기술 간의 점수 차이보다 작게 유지되어, 어휘의 다의어나 다의어 변형에 대한 강건성을 보여준다.
• qualitative 결과 및 관계 조합에 대한 정량적 지표를 통해, 기존의 베이스라인에 비해 다중 관계를 더 충실하게 생성 및 편집하는 것으로 확인되었다.
• 의미적으로 동치인 기술 간의 에너지 차이는 잘못된 기술 간의 에너지 차이보다 항상 낮게 유지되며, 이는 모델이 관계의 의미를 잘 포착하고 있음을 확인한다.
• 학습된 임베딩을 사용한 모델은 CLIP 또는 CLIP 미세조정 기반 베이스라인보다 새로운 데이터셋에서 더 우수한 일반화 성능을 보이며, EBM 기반의 구성적 학습이 우수함을 시사한다.
• 훈련 및 테스트 데이터가 서로 다른 도메인에서 온 경우에도 높은 정확도를 기록하여, 모델의 구성적이고 일반화 가능한 성격을 입증한다.