[논문 리뷰] RTIC: Residual Learning for Text and Image Composition using Graph Convolutional Network

Minchul Shin, Yoonjae Cho외 2명|arXiv (Cornell University)|2021. 04. 07.

Multimodal Machine Learning Applications참고 문헌 39인용 수 23

한 줄 요약

이 논문은 텍스트 조건 하에 소스 이미지와 타겟 이미지 간의 차이를 효과적으로 인코딩하기 위해 스킵 커넥션을 통한 잔차 학습을 활용하는 새로운 이미지-텍스트 조합 모델인 RTIC을 제안한다. 또한 일반화 성능을 향상시키기 위해 플러그 앤 플레이 방식의 GCN 기반 정규화 기법을 도입하여 앙상블 기법이나 도메인 특화 튜닝 없이도 벤치마크에서 최고 성능을 달성했으며, 통합적이고 최적의 훈련 환경을 통해 검증되었다.

ABSTRACT

In this paper, we study the compositional learning of images and texts for image retrieval. The query is given in the form of an image and text that describes the desired modifications to the image; the goal is to retrieve the target image that satisfies the given modifications and resembles the query by composing information in both the text and image modalities. To remedy this, we propose a novel architecture designed for the image-text composition task and show that the proposed structure can effectively encode the differences between the source and target images conditioned on the text. Furthermore, we introduce a new joint training technique based on the graph convolutional network that is generally applicable for any existing composition methods in a plug-and-play manner. We found that the proposed technique consistently improves performance and achieves state-of-the-art scores on various benchmarks. To avoid misleading experimental results caused by trivial training hyper-parameters, we reproduce all individual baselines and train models with a unified training environment. We expect this approach to suppress undesirable effects from irrelevant components and emphasize the image-text composition module's ability. Also, we achieve the state-of-the-art score without restricting the training environment, which implies the superiority of our method considering the gains from hyper-parameter tuning. The code, including all the baseline methods, are released https://github.com/nashory/rtic-gcn-pytorch.

연구 동기 및 목표

• 소스 이미지와 타겟 이미지 간 잔차 차이를 직접적으로 학습함으로써 더 효과적이고 해석 가능한 이미지-텍스트 조합 모델을 개발하는 것.
• 데이터 부족 문제를 해결하기 위해 이미지-텍스트 쌍 간의 유사성 그래프를 활용하는 그래프 컬러션 네트워크(GCN) 기반 정규화 기법을 도입하여 일반화 성능을 향상시키는 것.
• 모든 모델을 동일한 표준화된 훈련 환경에서 훈련시켜 조합 방법 간의 공정하고 객관적인 비교를 가능하게 하는 것.
• 성능 향상 요인이 하이퍼파rameter 튜닝이나 훈련 파이프라인의 잔재 요소가 아니라 조합 모듈 자체에 기인한 것임을 입증하는 것.
• 제안된 GCN 스트림이 기존의 모든 조합 방법에 적용 가능한 플러그 앤 플레이 정규화 기법으로 보편적으로 활용될 수 있음을 보여주는 것.

제안 방법

• RTIC는 스킵 커넥션을 사용하여 잠재 공간에서 소스 이미지와 타겟 이미지 간의 차이를 명시적으로 모델링하는 잔차 학습 아키텍처를 도입한다.
• 텍스트 조건 하에 작동하는 전용 오차 인코딩 블록을 사용하여 원하는 시각적 수정 사항만 분리하고 표현한다.
• 이중적으로 유사성 그래프를 활용하여 훈련 안정성과 일반화 성능을 향상시키는 새로운 GCN 스트림을 제안한다.
• 노드는 이미지-텍스트 쌍을, 엣지는 그들의 의미적 및 시각적 유사성을 표현하는 방식으로 그래프를 구성한다.
• GCN 스트림과 함께 공동 훈련을 통해 유사한 이미지-텍스트 쌍 간에 정보를 전파함으로써, 제한된 데이터 상황에서도 일반화 성능을 향상시키는 반감독 학습이 가능하다.
• 모델의 주요 아키텍처에 대한 구조적 변경 없이도 기존의 조합 모듈과 호환되도록 설계되어 있어, 추가적인 수정 없이 통합이 가능하다.

실험 결과

연구 질문

• RQ1 스킵 커넥션을 통한 잔차 학습이 이미지-텍스트 조합에서 소스 이미지와 타겟 이미지 간의 차이를 효과적으로 모델링할 수 있는가?
• RQ2 그래프 컬러션 네트워크(GCN) 기반 정규화 기법이 기존의 이미지-텍스트 조합 모델에 플러그 앤 플레이 방식으로 성능 향상 효과를 줄 수 있는가?
• RQ3 제안된 방법이 앙상블 기법이나 복잡한 손실 함수 조합 없이도 다양한 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 하이퍼파rameter 설정과 훈련 파이프라인 구성 요소가 성능에 미치는 영향은 어느 정도이며, 통합된 훈련 환경이 방법 간의 공정한 비교를 보장할 수 있는가?
• RQ5 GCN 스트림에서 사용하는 그래프의 품질이 정규화 기법의 성능 향상에 미치는 영향은 어느 정도인가?

주요 결과

• 하이퍼파rameter 최적화 후 RTIC는 Fashion-IQ 벤치마크에서 단일 모델 성능로 38.22를 기록하여 최근의 다른 방법들을 능가한다.
• GCN 스트림은 모든 기반 모델에서 일관되게 성능 향상을 이끌어내며, TIRG는 +2.21%, MRN은 +1.56%, ComposeAE는 RTIC가 생성한 그래프를 사용할 경우 +33.97% 향상되었다.
• 제안된 GCN 스트림은 추론 시 추가 GPU 메모리가 필요로 하지 않아 실세계 적용에 있어 효율적이며, 훈련 시 메모리 사용량 증가 외에는 성능에 영향을 주지 않는다.
• 제거 분석 결과, 하이퍼파rameter 튜닝만으로도 성능이 최대 13% 향상될 수 있었으며(33.24에서 38.22로), 공정한 비교를 위해 표준화된 훈련 환경이 필수적임을 입증한다.
• t-SNE 시각화 결과, 오차 인코딩 블록이 색상과 무늬와 같은 속성을 성공적으로 분리하여 특정 텍스트 쿼리 조건 하에 명확한 클러스터를 형성하는 것으로 확인되었다.
• 앙상블 기법이나 다단계 특징 집합 기반 통합을 사용하지 않음에도 불구하고 최고 성능을 달성하여, 핵심 아키텍처와 정규화 기법의 효과성을 입증한다.