[논문 리뷰] A Unified Transformer Framework for Group-based Segmentation: Co-Segmentation, Co-Saliency Detection and Video Salient Object Detection

Yukun Su, Jingliang Deng외 3명|arXiv (Cornell University)|2022. 03. 09.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 공통 아키텍처를 사용하여 그룹 기반 세그멘테이션 작업—공동 세그멘테이션(co-segmentation), 공통 최우선도 탐지(co-saliency detection), 비디오 최우선도 객체 탐지(video salient object detection)를 위한 통합된 트랜스포머 기반 프레임워크인 UFO를 제안한다. 장거리 상관관계를 포착하기 위해 패치 기반 트랜스포머 블록을 도입하고, 부분 활성화를 억제하기 위해 인트라-MLP 모듈을 도입하여, 작업별 특화 설계나 옵티컬 플로우 없이도 11개 벤치마크에서 최고 성능과 실시간 추론(140 FPS)을 달성한다.

ABSTRACT

Humans tend to mine objects by learning from a group of images or several frames of video since we live in a dynamic world. In the computer vision area, many researches focus on co-segmentation (CoS), co-saliency detection (CoSD) and video salient object detection (VSOD) to discover the co-occurrent objects. However, previous approaches design different networks on these similar tasks separately, and they are difficult to apply to each other, which lowers the upper bound of the transferability of deep learning frameworks. Besides, they fail to take full advantage of the cues among inter- and intra-feature within a group of images. In this paper, we introduce a unified framework to tackle these issues, term as UFO (Unified Framework for Co-Object Segmentation). Specifically, we first introduce a transformer block, which views the image feature as a patch token and then captures their long-range dependencies through the self-attention mechanism. This can help the network to excavate the patch structured similarities among the relevant objects. Furthermore, we propose an intra-MLP learning module to produce self-mask to enhance the network to avoid partial activation. Extensive experiments on four CoS benchmarks (PASCAL, iCoseg, Internet and MSRC), three CoSD benchmarks (Cosal2015, CoSOD3k, and CocA) and four VSOD benchmarks (DAVIS16, FBMS, ViSal and SegV2) show that our method outperforms other state-of-the-arts on three different tasks in both accuracy and speed by using the same network architecture , which can reach 140 FPS in real-time.

연구 동기 및 목표

• 기존 딥 러닝 프레임워크에서 그룹 기반 세그멘테이션 작업에 대한 이식성과 모oduularity의 부족을 해결하기 위해.
• 공동 세그멘테이션(CoS), 공통 최우선도 탐지(CoSD), 비디오 최우선도 객체 탐지(VSOD)를 동일한 아키텍처 아래 통합하기 위해.
• 자기주의 메커니즘(self-attention mechanisms)을 활용하여 이미지 또는 비디오 프레임 간의 장거리 특징 상관관계 모델링을 향상시키기 위해.
• 전역 수용장역을 향상시키기 위해 인트라-MLP 학습 모듈을 도입하여 특징 맵의 부분 활성화를 감소시키기 위해.
• 옵티컬 플로우나 작업별 특화 설계에 의존하지 않고도 실시간 추론(140 FPS)을 달성하기 위해.

제안 방법

• 패치 기반 시각 트랜스포머 블록이 이미지 특징을 토큰으로 처리하여, 이미지 패치 간 전역 자기주의(self-attention)를 통해 장거리 상관관계를 모델링한다.
• 인트라-MLP 모듈은 각 쿼리 픽셀을 가장 관련성이 높은 상위-K 픽셀과 매칭하여 자기 마스크를 계산함으로써 특징 활성화를 향상시키고 부분 응답을 억제한다.
• 모든 세 가지 작업에 동일한 인코더-디코더 아키텍처를 공유하여 작업별 특화 설계가 필요 없도록 한다.
• 트랜스포머의 본질적 전역 모델링 능력을 활용하여 유사도 행렬의 고비용 계산을 피하고, 계산 비용을 감소시킨다.
• 옵티컬 플로우는 비디오 작업에서 전경 객체 인식을 향상시키기 위해 선택적으로 이미지 특징과 융합되며, SOTA 성능을 달성하는 데 필수적이지는 않다.
• 프레임워크는 이미지 수준의 그룹 일관성만을 기반으로 하며, 추가적인 데이터 증강이나 감독 신호 없이 비지도 학습 방식으로 학습된다.

Figure 1: The main purpose of our proposed framework . The co-object images can be fed into our network to yield the accurate masks in real-time using the same architecture.

실험 결과

연구 질문

• RQ1 공통 구성 요소를 사용하여 단일 딥 러닝 아키텍처가 공동 세그멘테이션, 공통 최우선도 탐지, 비디오 최우선도 객체 탐지 모두를 효과적으로 처리할 수 있는가?
• RQ2 자기주의 메커니즘은 그룹 기반 이미지 세그멘테이션 작업에서 장거리 특징 상관관계를 어떻게 향상시킬 수 있는가?
• RQ3 인트라-MLP 모듈은 부분 활성화를 감소시키고 객체 세그멘테이션의 특징 표현을 향상시킬 수 있는가?
• RQ4 통합 프레임워크가 옵티컬 플로우나 작업별 특화 설계 없이 실시간 추론(예: 140 FPS)을 얼마나 잘 달성할 수 있는가?
• RQ5 제안된 프레임워크는 정확도와 속도 모두에서 다양한 벤치마크에서 작업별 최고 성능 기준(SOTA) 방법을 초월하는가?

주요 결과

• 제안된 UFO 프레임워크는 단일 공유 아키텍처를 사용하여 11개의 벤치마크(4개의 CoS, 3개의 CoSD, 4개의 VSOD 데이터셋)에서 최고 성능을 달성한다.
• DAVIS 16 데이터셋에서 UFO는 VGG16과 224×224 입력을 사용하여 평균 F-측정값 0.959, MAE 0.013을 기록하여 이전 SOTA 방법을 능가한다.
• FBMS와 ViSal에서 UFO는 비지도 방법 중에서 가장 높은 F-측정값(0.899)과 MAE(0.013)를 기록하여 강력한 일반화 능력을 입증한다.
• 실시간 추론에서 140 FPS로 실행되어 옵티컬 플로우 없이도 높은 속도를 달성한다.
• 옵티컬 플로우 없이도 UFO는 여러 준지도 학습 기반 VSOD 방법을 능가하여 강건성과 효율성을 입증한다.
• 정성적 결과에서는 복잡한 배경과 간섭 요소가 존재하는 상황에서도 뛰어난 마스크 정확도를 보이며, PR 및 ROC 곡선이 모든 기준선보다 일관되게 높게 나타난다.

Figure 2: The pipeline of our proposed method . The given group-based input images $\mathcal{I}$ are first fed into the encoder, yielding the multi-scale feature maps $F$ . Then we employ transformer blocks (see Fig 3 for more details) on the last two layers to capture the images long-range correlat