[논문 리뷰] Position-Aware Contrastive Alignment for Referring Image Segmentation

Bo Chen, Zhiwei Hu외 3명|arXiv (Cornell University)|2022. 12. 27.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 언어 기반 객체 위치 정보와 대비 학습을 통합하여 다중 모odal 특징 정렬을 향상시키는 위치 인식 대비 정렬 네트워크(PCA N)를 제안한다. GLIP가 생성한 객체 위치 정보와 이중 디코더 대비 모듈을 활용함으로써, 추론 오버헤드 없이도 정확도를 향상시켜 세 가지 벤치마크에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

Referring image segmentation aims to segment the target object described by a given natural language expression. Typically, referring expressions contain complex relationships between the target and its surrounding objects. The main challenge of this task is to understand the visual and linguistic content simultaneously and to find the referred object accurately among all instances in the image. Currently, the most effective way to solve the above problem is to obtain aligned multi-modal features by computing the correlation between visual and linguistic feature modalities under the supervision of the ground-truth mask. However, existing paradigms have difficulty in thoroughly understanding visual and linguistic content due to the inability to perceive information directly about surrounding objects that refer to the target. This prevents them from learning aligned multi-modal features, which leads to inaccurate segmentation. To address this issue, we present a position-aware contrastive alignment network (PCAN) to enhance the alignment of multi-modal features by guiding the interaction between vision and language through prior position information. Our PCAN consists of two modules: 1) Position Aware Module (PAM), which provides position information of all objects related to natural language descriptions, and 2) Contrastive Language Understanding Module (CLUM), which enhances multi-modal alignment by comparing the features of the referred object with those of related objects. Extensive experiments on three benchmarks demonstrate our PCAN performs favorably against the state-of-the-art methods. Our code will be made publicly available.

연구 동기 및 목표

• 시각-언어적 관계와 주변 객체에 대한 이해 부족으로 인한 정확도 낮은 세그멘테이션 문제를 해결하기 위해.
• 언어적 기술과 관련된 객체 위치에 대한 사전 지식을 통합하여 다중 모달 특징 정렬을 향상시키기 위해.
• 대비 학습 지식을 매칭 헤드에 전달하여 높은 성능를 유지하면서도 추론 비용을 줄이기 위해.
• 모호하거나 유사한 객체가 존재하는 복잡한 환경에서 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 추가적인 검출 헤드 없이도 사전 학습된 시각-언어 모델 기반 검출기의 국소화 가이던스를 효과적으로 활용하는 방법을 개발하기 위해.

제안 방법

• 위치 인식 모듈(PAM)은 GLIP를 사용하여 언어 표현과 관련된 고품질의 객체 영역을 추출하여 사전 위치 정보를 제공한다.
• 대비 언어 이해 모듈(CLUM)은 두 개의 가중치 공유 디코더를 사용한다: 하나는 언어 기반 객체 위치를 활용한 대비 학습을 위한 것이고, 다른 하나는 무작위 쿼리를 사용한 매칭을 위한 것이다.
• CLUM에서 대비 학습은 대비 디코더에서 얻은 강건한 특징 표현을 매칭 디코더로 전달하여 쿼리 특징 품질을 향상시킨다.
• 모델은 위치 인식 쿼리를 기반으로 시각적 및 언어적 특징을 정렬하기 위해 이중 브랜치 크로스 어텐션 메커니즘을 사용한다.
• 대비 손실은 대상이 아닌 관련된 객체들 간에 적용되어, 구분 능력과 정렬 정확도를 향상시킨다.
• 추론 시에는 매칭 디코더만 사용되므로 외부 검출기가 필요 없으며, 추가적인 계산 비용이 발생하지 않는다.

실험 결과

연구 질문

• RQ1 언어 기반 객체 위치 정보를 통합하면 정규화된 다중 모달 특징 정렬이 향상되는가?
• RQ2 위치 인식 특징에 기반한 대비 학습은 모델이 유사한 방해 요소들 사이에서 대상 객체를 더 잘 구분할 수 있도록 하는가?
• RQ3 사전에 알려진 객체 위치 정보를 통합하면 추론 복잡도가 증가하지 않으면서도 세그멘테이션 성능이 향상되는가?
• RQ4 대비 학습 모듈에서 양성 및 음성 샘플을 생성하는 데 최적의 전략은 무엇인가?
• RQ5 객체 제안 수와 그룹화 전략은 모델의 성능 및 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• PCAN은 RefCOCO, RefCOCO+, Ref-YOLO 세 가지 표준 벤치마크에서 최신 기술(SOTA) 성능을 달성하며 기존 방법보다 뚜렷한 향상을 보였다.
• GLIP가 생성한 박스를 음성 샘플로 사용할 경우 랜덤 음성 샘플링 대비 0.61% 성능 향상을 기록하여 관련 객체 사전 지식의 효과를 입증했다.
• 조건부 음성 샘플링 전략은 무조건적 샘플링 대비 0.47% 성능 향상을 보였으며, 더 나은 모델 가이던스 효과를 확인했다.
• K=6개의 객체 제안과 G=3개의 그룹 설정에서 최적의 성능을 달성하였으며, 이 이상의 설정에서는 성능이 포화 상태에 도달했다.
• 절단 실험 결과, PAM과 CLUM을 함께 사용할 경우 가장 우수한 성능를 기록하여 위치 인식과 대비 학습 간의 상호 보완적 이점이 확인되었다.
• 시각화 결과는 전체 모델이 특히 유사한 객체가 많은 복잡한 환경에서 더 정확하고 강건한 세그멘테이션 마스크를 생성함을 보여주었다.