[논문 리뷰] Locate then Segment: A Strong Pipeline for Referring Image Segmentation

Ya Jing, Tao Kong외 4명|arXiv (Cornell University)|2021. 03. 30.

Multimodal Machine Learning Applications참고 문헌 40인용 수 11

한 줄 요약

이 논문은 참조 이미지 세그멘테이션을 위한 단순하면서도 효과적인 '위치 지정 후 세그멘테이션'(LTS) 파이프라인을 제안한다. 이는 작업을 명시적인 객체 위치 지정과 고정밀도 세그멘테이션으로 분리한다. 시각적 및 언어적 특징을 융합하고, 위치 지정 모듈을 통해 언어 표현에 기반한 객체 위치를 사전에 예측하며, 경량 세그멘테이션 헤드를 적용함으로써 LTS는 최신 기술 수준의 성능을 달성하여 RefCOCO+에서 +3.2% 향상되고 RefCOCOg에서 +3.4% 향상된다.

ABSTRACT

Referring image segmentation aims to segment the objects referred by a natural language expression. Previous methods usually focus on designing an implicit and recurrent feature interaction mechanism to fuse the visual-linguistic features to directly generate the final segmentation mask without explicitly modeling the localization information of the referent instances. To tackle these problems, we view this task from another perspective by decoupling it into a "Locate-Then-Segment" (LTS) scheme. Given a language expression, people generally first perform attention to the corresponding target image regions, then generate a fine segmentation mask about the object based on its context. The LTS first extracts and fuses both visual and textual features to get a cross-modal representation, then applies a cross-model interaction on the visual-textual features to locate the referred object with position prior, and finally generates the segmentation result with a light-weight segmentation network. Our LTS is simple but surprisingly effective. On three popular benchmark datasets, the LTS outperforms all the previous state-of-the-art methods by a large margin (e.g., +3.2% on RefCOCO+ and +3.4% on RefCOCOg). In addition, our model is more interpretable with explicitly locating the object, which is also proved by visualization experiments. We believe this framework is promising to serve as a strong baseline for referring image segmentation.

연구 동기 및 목표

• 참조 이미지 세그멘테이션에서 암묵적이고 순환적인 특징 융합 방식의 한계를 해결하기 위해, 이는 종종 객체 위치 지정을 명시적으로 모델링하지 못한다.
• 교차 모odal 상호작용을 통해 언어 지시에 기반한 객체의 공간적 위치를 명시적으로 예측하여 세그멘테이션 정확도를 향상시키기 위해 노력한다.
• 복잡한 최신 기술 수준의 모델보다 뛰어난 성능을 내는 단순하고 해석 가능하며 효과적인 파이프라인을 개발하기 위해 노력한다.
• DCRF와 같은 후처리 기법에 의존도를 줄이기 위해 네트워크 내부에 직접 보정 기능을 통합한다.

제안 방법

• 이 방법은 먼저 조기 융합을 사용하여 시각적 및 언어적 특징을 교차 모달 표현으로 융합한다.
• 위치 지정 모듈은 언어 표현에 기반한 가장 관련성이 높은 이미지 영역을 식별하기 위해 관련성 필터링을 적용하여 위치 사전 지식을 생성한다.
• 위치 사전 지식은 교차 모달 특징과 연결되어 세그멘테이션 네트워크를 안내한다.
• 최종 고해상도 세그멘테이션 마스크를 생성하기 위해 경량의 완전 컨volution 네트워크(FCN)를 사용한다.
• 개선된 정렬을 위해 세그멘테이션과 위치 지정의 감독을 결합한 다중 작업 손실을 사용하여 모델을 훈련한다.
• 간단한 백본(예: ResNet)을 사용하고 주 스트림에서 복잡한 순환 또는 주목력 메커니즘을 회피한다.

Figure 1: The illustration of referring image segmentation. Given a referring expression and an image, the model aims to generate a segmentation mask of the corresponding object in image referred by the language expression. Best viewed in color.

실험 결과

연구 질문

• RQ1 명시적인 객체 위치 지정이 참조 이미지 세그멘테이션의 정확도 향상에 기여하는가?
• RQ2 위치 지정과 세그멘테이션을 분리함으로써 종단 간 융합 방법보다 더 나은 성능과 해석 가능성 확보가 가능한가?
• RQ3 언어 지도 특징 필터링을 통한 위치 사전 지식 사용이 마스크 품질에 어떤 영향을 미치는가?
• RQ4 경량적이고 순환적이지 않은 아키텍처가 이 작업에서 복잡한 순환 모델을 능가할 수 있는가?

주요 결과

• LTS는 RefCOCO에서 66.75% IoU, RefCOCO+에서 54.94%, RefCOCOg에서 54.51%로 새로운 최신 기술 수준의 성능을 달성하여 이전 SOTA 모델을 능가한다.
• 이전 SOTA 결과 대비 RefCOCO+에서 +3.2% 향상되고 RefCOCOg에서 +3.4% 향상된다.
• 제거 실험 결과, 위치 지정 모듈과 세그멘테이션 헤드 모두 성능 향상에 기여하는 데 중요한 역할을 한다.
• 더 큰 입력 해상도(480×480)를 사용할 경우 성능 향상이 이루어지며, RefCOCO 검증 세트에서 65.90% IoU를 기록한다.
• 필터링을 트랜스포머 기반의 위치 지정 모듈로 대체하면 성능이 더욱 향상되어 강력한 주목력 메커니즘의 이점이 확인된다.
• 모델이 세그멘테이션 이전에 정확한 객체 영역에 명시적으로 주목하는 것을 시각화를 통해 확인할 수 있어 더 해석 가능성이 높다.

Figure 2: The architecture of our proposed method. The visual feature and linguistic feature are extracted by a deep convolutional network (ConvNet) and a bi-GRU network respectively, and then fused to generate the cross-modal features. Next a cross-modal interaction module (e.g., filtering and tran