[논문 리뷰] Encoder Fusion Network with Co-Attention Embedding for Referring Image Segmentation

Guang Feng, Zhiwei Hu외 2명|arXiv (Cornell University)|2021. 05. 05.

Multimodal Machine Learning Applications참고 문헌 43인용 수 8

한 줄 요약

이 논문은 언어 지시에 따라 다중 척도 시각적 특징을 점진적으로 개선할 수 있는 언어 유도적 프로세스를 가능하게 하기 위해 인코더 단계에서 교차 모odal 통합을 수행하는 Encoder Fusion Network with Co-Attention Embedding (CEFNet)을 제안한다. 이 방법은 병렬적으로 시각적 및 언어적 특징을 공동으로 업데이트하는 공-주의 메커니즘을 사용하여 의미적 일치도 향상시키며, 경계 강화 모듈(BEM)을 포함하여 IoU 성능을 2–3% 향상시켜 후처리 없이 네 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recently, referring image segmentation has aroused widespread interest. Previous methods perform the multi-modal fusion between language and vision at the decoding side of the network. And, linguistic feature interacts with visual feature of each scale separately, which ignores the continuous guidance of language to multi-scale visual features. In this work, we propose an encoder fusion network (EFN), which transforms the visual encoder into a multi-modal feature learning network, and uses language to refine the multi-modal features progressively. Moreover, a co-attention mechanism is embedded in the EFN to realize the parallel update of multi-modal features, which can promote the consistent of the cross-modal information representation in the semantic space. Finally, we propose a boundary enhancement module (BEM) to make the network pay more attention to the fine structure. The experiment results on four benchmark datasets demonstrate that the proposed approach achieves the state-of-the-art performance under different evaluation metrics without any post-processing.

연구 동기 및 목표

• 다중 척도 시각적 특징에 대해 지속적인 언어 지시를 제공하지 못하는 디코더 기반 융합의 한계를 해결하기 위해.
• 순차적인 모odal 업데이트를 병렬 공-주의 메커니즘으로 대체하여 시각과 언어 표현 간의 의미 일致성을 향상시키기 위해.
• 특징 추출 과정에서 손실된 세밀한 구조적 세부 정보, 특히 물체 경계 근처의 정보를 복구하기 위해.
• 후처리나 추가 계산 비용 없이 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 시각 인코더(예: ResNet)를 다중 모달 특징 인코더로 변환하여 인코더 단계에서 언어 및 시각 특징의 깊은 융합을 가능하게 한다.
• 공유된 유사도 행렬을 사용하여 시각적 및 언어적 특징을 동시에 업데이트하는 공-주의 메커니즘을 도입하여 공동 표현 학습을 촉진한다.
• 기본 공-주의와 비대칭 공-주의의 두 가지 변형을 활용하며, 후자는 모달 특화된 맥락 이해를 향상시킨다.
• 디코딩 단계에서 경계 신호를 활용하여 세그멘테이션 마스크를 정밀하게 개선하는 경계 강화 모듈(BEM)을 통합한다.
• 다중 척도 예측을 위해 디코더에 Feature Pyramid Network (FPN)를 사용하며, 인코더 및 디코더 베이스라인 모두에서 요소별 연결(concatenation, Eq. 1)을 통해 융합을 구현한다.
• EFN(인코더 융합)과 DFN(디코더 융합) 간의 추론 실험을 통해 인코더 수준 융합의 우수성을 입증한다.

실험 결과

연구 질문

• RQ1 디코더 기반 융합 대비 인코더 단계에서의 다중 모달 융합이 언어 지시 특징 학습에 더 유리한가?
• RQ2 순차적 주의보다 병렬 공-주의 메커니즘이 더 나은 교차 모달 일치도 및 표현 일致성을 제공하는가?
• RQ3 명시적인 경계 정밀화가 세밀한 물체 윤곽의 세그멘테이션 정확도를 향상시키는가?
• RQ4 성능 및 추론 효율성 측면에서 제안된 방법은 최신 기술 수준의 접근 방식과 비교해 어떻게 성과를 내는가?

주요 결과

• 인코더 융합 네트워크(EFN)는 디코더 융합 베이스라인(DFN)을 상당히 능가하며, 계산 비용 증가 없이도 더 나은 특징 학습이 가능하다는 점을 입증한다.
• 기본 공-주의 모듈은 UNC-val, UNC-testA, UNC-testB에서 평균 IoU를 6.8%에서 8.2%까지 향상시키며, 비대칭 공-주의 모듈은 7.6%에서 8.8%까지 향상시킨다.
• 경계 강화 모듈(BEM)은 전체 IoU를 2%에서 3% 향상시키며, 시각적 결과에서는 물체 경계에 더 잘 맞는 모습을 보인다.
• 이 방법은 네 가지 벤치마크 데이터셋인 UNC, UNC+, Google-Ref, ReferItw에서 모든 표준 평가 지표에서 최신 기술 수준의 성능을 달성한다.
• 실패 사례는 주로 모호한 질의, 희귀어(예: 'cop') 또는 작은 물체 크기로 인해 발생하며, 제로샷 학습 또는 입력 크기 조정을 통해 향상 가능할 것으로 보인다.
• 비대칭 공-주의 메커니즘은 크기 변화에 더 강건하며, 추론 실험 결과(표 5)에서 이를 입증한다.