[논문 리뷰] BiLingUNet: Image Segmentation by Modulating Top-Down and Bottom-Up Visual Processing with Referring Expressions

Ozan Arkan Can, İlker Kesen외 1명|arXiv (Cornell University)|2020. 03. 28.

Multimodal Machine Learning Applications참고 문헌 31인용 수 5

한 줄 요약

BiLingUNet는 참조 표현을 사용하여 상향식 및 하향식 시각 처리를 조절하는 새로운 이미지 세분화 모델을 소개한다. 단순한 언어 조건부 통합에 의존하는 기존 방법보다 우수한 성능을 보이며, 표준 1x1 필터 대신 더 넓은 관계 기반 필터를 사용함으로써 네 개의 참조 표현 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

We present BiLingUNet, a state-of-the-art model for image segmentation using referring expressions. BiLingUNet uses language to customize visual filters and outperforms approaches that concatenate a linguistic representation to the visual input. We find that using language to modulate both bottom-up and top-down visual processing works better than just making the top-down processing language-conditional. We argue that common 1x1 language-conditional filters cannot represent relational concepts and experimentally demonstrate that wider filters work better. Our model achieves state-of-the-art performance on four referring expression datasets.

연구 동기 및 목표

• 참조 표현을 통해 언어를 시각적 특징 학습에 더 효과적으로 통합함으로써 이미지 세분화를 향상시키는 것.
• 1x1 언어 조건부 필터가 관계 기반 시각 개념을 포착하는 데 한계가 있음을 해결하는 것.
• 언어적 맥락을 사용해 상향식 및 하향식 시각 경로를 모두 조절하는 것의 효과를 탐색하는 것.
• 더 넓은 필터가 시각 세분화에서 관계 기반 언어 개념을 더 잘 표현할 수 있음을 보여주는 것.
• 표준 참조 표현 세분화 벤치마크에서 최고 성능을 달성하는 것.

제안 방법

• BiLingUNet는 상향식 및 하향식 시각 처리를 위한 이중 조절 경로를 갖는 U-Net 기반 아키텍처를 사용한다.
• 참조 표현에서 유도된 언어 특징은 두 경로의 시각 필터를 동적으로 조절하는 데 사용된다.
• 언어로 표현된 관계 기반 시각 개념을 더 잘 표현하기 위해 표준 1x1 필터를 초월하는 더 넓은 컨볼루션 필터를 적용한다.
• 학습 가능한 어텐션 또는 게이팅 메커니즘을 통해 언어 입력에 따라 시각 특징 맵을 조절하는 조절 메커니즘을 적용한다.
• 참조 표현 데이터셋에서 세분화 손실을 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 언어 및 시각 모odal 특징은 연결보다 동적 필터 생성을 통해 융합된다.

실험 결과

연구 질문

• RQ1 언어로 상향식 및 하향식 시각 경로를 모두 조절하는 것이 하향식 경로만 조절하는 것보다 세분화 성능을 향상시키는가?
• RQ2 1x1 언어 조건부 필터는 참조 표현의 관계 기반 시각 개념을 포착하지 못하는가?
• RQ3 1x1 필터 대신 더 넓은 필터를 사용하면 언어 유도 이미지 세분화에서 성능이 향상되는가?
• RQ4 참조 표현에 기반한 동적 필터 조절이 표준 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ5 BiLingUNet은 언어 및 시각 특징을 연결하는 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• BiLingUNet는 네 개의 참조 표현 세분화 데이터셋에서 최고 성능을 달성하며, 이는 기존 방법을 능가한다.
• 언어로 상향식 및 하향식 시각 경로를 모두 조절하는 것이 하향식 경로만 조절하는 것보다 더 높은 세분화 정확도를 제공한다.
• 표준 1x1 필터 대비 더 넓은 필터가 참조 표현의 관계 기반 개념을 더 효과적으로 포착한다.
• 모델는 1x1 언어 조건부 필터가 언어의 복잡한 공간적 또는 관계적 관계를 포착하는 데 부적절하다는 것을 입증한다.
• 동적 조절 메커니즘은 특징 연결보다 더 정밀한 참조 영역 국소화를 가능하게 한다.
• 제거 분석 결과, 시각 경로의 공동 조절이 기본 융합 전략에 비해 성능 향상에 크게 기여한다는 것이 확인된다.