[논문 리뷰] CoupAlign: Coupling Word-Pixel with Sentence-Mask Alignments for Referring Image Segmentation

Zicheng Zhang, Yi Zhu외 3명|arXiv (Cornell University)|2022. 12. 04.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

CoupAlign는 참조 이미지 세그멘테이션을 위한 새로운 다수준 시각-의미적 일치 프레임워크를 제안하며, 단어-픽셀 일치와 문장-마스크 일치를 결합하여 객체 마스크 제약 조건을 강화함으로써 국소화 정확도를 향상시킨다. 중간 인코더 레이어에서 이중 방향 교차 어텐션을 통합하고 문장 임베딩에 따라 가중치가 부여된 마스크 제안을 사용함으로써, CoupAlign은 RefCOCO에서 SOTA 기법 대비 oIoU에 2%의 상대적 향상을 달성하며, 특히 동일한 클래스의 여러 객체가 존재하는 상황에서 타겟 객체를 구분하는 데 뛰어난 성능을 발휘한다.

ABSTRACT

Referring image segmentation aims at localizing all pixels of the visual objects described by a natural language sentence. Previous works learn to straightforwardly align the sentence embedding and pixel-level embedding for highlighting the referred objects, but ignore the semantic consistency of pixels within the same object, leading to incomplete masks and localization errors in predictions. To tackle this problem, we propose CoupAlign, a simple yet effective multi-level visual-semantic alignment method, to couple sentence-mask alignment with word-pixel alignment to enforce object mask constraint for achieving more accurate localization and segmentation. Specifically, the Word-Pixel Alignment (WPA) module performs early fusion of linguistic and pixel-level features in intermediate layers of the vision and language encoders. Based on the word-pixel aligned embedding, a set of mask proposals are generated to hypothesize possible objects. Then in the Sentence-Mask Alignment (SMA) module, the masks are weighted by the sentence embedding to localize the referred object, and finally projected back to aggregate the pixels for the target. To further enhance the learning of the two alignment modules, an auxiliary loss is designed to contrast the foreground and background pixels. By hierarchically aligning pixels and masks with linguistic features, our CoupAlign captures the pixel coherence at both visual and semantic levels, thus generating more accurate predictions. Extensive experiments on popular datasets (e.g., RefCOCO and G-Ref) show that our method achieves consistent improvements over state-of-the-art methods, e.g., about 2% oIoU increase on the validation and testing set of RefCOCO. Especially, CoupAlign has remarkable ability in distinguishing the target from multiple objects of the same class.

연구 동기 및 목표

• 객체 내부의 픽셀 일관성 무시로 인한 마스크 완성도 부족 및 국소화 오류를 해결하기 위해.
• 세부 수준(단어-픽셀)과 개괄 수준(문장-마스크)에서 객체 마스크 제약 조건을 명시적으로 강제하여 다중 모odal 일치를 향상시키기 위해.
• 같은 클래스의 여러 인스턴스(예: 군중 속 개인들)가 존재할 때 타겟 객체를 구분하는 데 모델의 강인성을 향상시키기 위해.
• 참조된 객체의 픽셀 간 시각적 및 의미적 일관성을 모두 포착하는 계층적 일치 메커니즘을 개발하기 위해.

제안 방법

• 초기 융합을 위해 중간 시각적 및 언어적 특징 간 이중 방향 교차 어텐션을 수행하는 Word-Pixel Alignment (WPA) 모듈을 도입한다.
• 단어-픽셀 일치 특징에서 다수의 마스크 제안을 생성하여 이미지 내 잠재적 객체를 표현한다.
• 문장 임베딩를 사용하여 마스크 제안에 가중치를 적용하여 참조된 객체를 국소화하는 Sentence-Mask Alignment (SMA) 모듈을 활용한다.
• 가중치가 부여된 마스크를 다시 투영하여 목표 픽셀을 집계함으로써, 단어-픽셀 일치를 정교화하는 마스크 제약 조건을 제공한다.
• 전경 픽셀과 배경 픽셀을 구분하기 위한 보조 대비 손실을 설계하여, 단어-픽셀 및 문장-마스크 수준에서의 일치를 향상시킨다.
• 예측을 점진적으로 정교화하기 위해 WPA 및 SMA 모듈을 번갈아가며 훈련하는 계층적 훈련 전략을 사용한다.

실험 결과

연구 질문

• RQ1 단어-픽셀 및 문장-마스크 일치를 결합함으로써 참조 이미지 세그멘테이션의 마스크 정확도 향상과 국소화 오류 감소가 가능한가?
• RQ2 다중 수준 일치를 통해 객체 마스크 제약 조건을 강제하면, 동일한 객체가 여러 개 존재하는 복잡한 환경에서 일반화 성능이 향상되는가?
• RQ3 WPA를 통한 조기 다중 모달 상호작용은 후기 융합 대비 성능과 강인성 측면에서 어떻게 비교되는가?
• RQ4 보조 대비 손실이 일치 품질과 최종 세그멘테이션 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법이 RefCOCO 및 G-Ref와 같은 표준 벤치마크에서 SOTA 모델을 초월할 수 있는가?

주요 결과

• CoupAlign은 이전 SOTA 기법 대비 RefCOCO 검증 및 테스트 세트에서 oIoU가 2% 절대적으로 향상되었다.
• WPA 모듈을 제거할 경우 oIoU가 4.3% 감소(74.70%에서 70.43%로)하여 그 핵심적인 역할을 입증하였다.
• 이중 방향 WPA를 단방향 어텐션으로 대체하면 oIoU가 2% 감소(74.70%에서 72.70%로)하여 대칭적 교차 어텐션의 이점이 확인되었다.
• SMA 모듈은 기여가 크며, 제거 시 oIoU가 1.7% 감소(74.70%에서 73.02%로)하여 마스크 제약 조건 학습의 효과성을 입증하였다.
• 보조 대비 손실을 비활성화하면 oIoU가 1% 향상(74.70%에서 73.70%로)되어 픽셀 수준의 일치 향상에 기여함을 입증하였다.
• 마지막 인코더 단계(단계 4)의 WPA 모듈이 가장 효과적이며, 마지막 두 WPA 모듈을 제거하면 성능이 2% 감소하였다.