[논문 리뷰] CLIP4IDC: CLIP for Image Difference Captioning

Zixin Guo, Tzu-Jui Julius Wang외 1명|arXiv (Cornell University)|2022. 06. 01.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

CLIP4IDC는 이미지 차이 문장 생성(Image Difference Captioning, IDC)을 위해 CLIP를 전이하기 위해 이중 단계의 적응 및 미세조정 전략을 제안한다. 이는 사전 훈련된 시각적 인코더가 미세한 차이를 포착하지 못하는 문제를 해결하고, 대조적 검색 손실을 통해 이미지 쌍 간의 시각적 표현을 향상시킨 후, 문장 생성 헤드를 미세조정함으로써 성능을 햖थ한다. 이는 CLIP 사전 훈련과 IDC 미세조정 간의 도메인 및 목표 갭을 줄여, 세 가지 IDC 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Image Difference Captioning (IDC) aims at generating sentences to describe differences between two similar-looking images. Conventional approaches learn an IDC model with a pre-trained and usually frozen visual feature extractor. Accordingly, two major issues may arise: (1) a large domain gap usually exists between the pre-training datasets used for training such a visual encoder and that of the downstream IDC task, and (2) the visual feature extractor, when separately encoding two images, often does not effectively encode the visual changes between two images. Due to the excellent zero-shot performance of the recently proposed CLIP, we thus propose CLIP4IDC to transfer a CLIP model for the IDC task to address those issues. Different from directly fine-tuning CLIP to generate sentences, we introduce an adaptation training process to adapt CLIP's visual encoder to capture and align differences in image pairs based on the textual descriptions. Experiments on three IDC benchmark datasets, CLEVR-Change, Spot-the-Diff, and Image-Editing-Request, demonstrate the effectiveness of CLIP4IDC.

연구 동기 및 목표

• CLIP 사전 훈련과 후행 IDC 작업 사이의 도메인 갭을 해결하기 위해, 사전 훈련된 시각적 인코더가 미세한 차이를 포착하지 못하는 문제를 해결한다.
• 고정된 시각적 특징 추출기가 상호 이미지 간 변화를 효과적으로 모델링하지 못하는 한계를 극복한다.
• 이미지 쌍의 시각적 표현과 차이에 대한 텍스트 기술 간의 정렬을 향상시킨다.
• CLIP의 제로샷 능력을 활용하면서도, 특정 IDC 작업에 맞게 타겟된 적응을 통해 CLIP를 적응화하는 방법을 개발한다.
• 검색 기반 적응이 다양한 IDC 데이터셋에서 후행 문장 생성 성능을 효과적으로 향상시킨다는 것을 입증한다.

제안 방법

• 이중 단계 훈련 파이프라인 제안: (1) 대조적 검색 손실을 통한 적응을 통해 이미지 쌍 표현을 차이 기술과 정렬하고, (2) 적응된 시각적 인코더에 대해 문장 생성 헤드를 미세조정한다.
• 두 가지 모듈 도입: 내부 인코더(intra-encoder)는 이미지 쌍 내부의 차이를 추출하고 비교하며, 외부 인코더(inter-encoder)는 쌍을 해당 텍스트 기술과 정렬한다.
• 대조 학습 목표 사용: 긍정 쌍(이미지 쌍 ↔ 기술)은 가까이, 부정 쌍은 멀리 떨어지도록 한다.
• 세부적인 차이 모델링을 보장하기 위해 이미지 쌍 → 텍스트 및 텍스트 → 이미지 쌍 검색 작업을 통해 적응 단계를 훈련한다.
• 원시 이미지 픽셀에서부터 새로 훈련된 트랜스포머 기반 문장 생성 헤드를 사용해 적응된 CLIP 시각적 인코더를 미세조정한다.
• 적응 단계에서는 엔드 투 엔드 최적화를 수행하고, 이후에는 시각적 인코더와 문장 생성 헤드를 함께 미세조정한다.

실험 결과

연구 질문

• RQ1 대조적 검색 기반 적응 단계를 통해 CLIP가 이미지 차이 문장 생성에 효과적으로 적응할 수 있는가?
• RQ2 제안된 적응-미세조정 전략이 직접 미세조정 또는 특징 기반 미세조정보다 CLIP 사전 훈련과 IDC 간의 목표 및 도메인 갭을 더 효과적으로 줄이는가?
• RQ3 내부 및 외부 모듈의 레이어 수가 검색 및 문장 생성 성능에 어떤 영향을 미치는가?
• RQ4 이미지 쌍 → 텍스트 및 텍스트 → 이미지 쌍 검색 성능이 후행 문장 생성 정확도와 어느 정도 상관이 있는가?
• RQ5 CLIP4IDC는 합성 및 실제 세계 IDC 데이터셋, 포함하여 혼합 실재-합성 벤치마크에서도 일반화 가능한가?

주요 결과

• CLIP4IDC는 CLEVR-Change, Spot-the-Diff, Image-Editing-Request의 세 가지 IDC 벤치마크에서 모두 최신 기술 성능(SOTA)을 달성한다.
• CLEVR-Change에서 CLIP4IDC는 이미지 쌍 → 텍스트 검색에서 R@1이 46.4%이고 R@10이 86.6%를 기록하여, 시각적 차이와 기술 간의 강한 정렬을 보여준다.
• CLEVR-Change 테스트 분할에서 BERTScore 37.4, ROUGE-L 146.5, CIDEr 75.2를 기록하며 강력한 베이스라인을 능가한다.
• 적응 작업에서의 검색 성능은 문장 생성 성능과 강하게 상관되며, IDC 품질의 Proxy로 검색 지표를 사용하는 것이 타당함을 검증한다.
• 내부 인코더 모듈에 더 많은 레이어를 할당할수록 성능 향상이 나타나며, 외부 인코더 레이어를 제거하면 성능이 크게 떨어지므로, 상호 이미지 간 차이를 모델링하기 위해 필수적임을 입증한다.
• 제거 실험 결과, 외부 인코더 레이어를 제거하면 R@1이 2.3%로 감소하고 MdR이 182.0으로 증가하여, 전반적인 상호 이미지 정렬이 성공에 필수적임을 확인한다.