[논문 리뷰] Amulet: Aggregating Multi-level Convolutional Features for Salient Object Detection

Pingping Zhang, Dong Wang외 3명|arXiv (Cornell University)|2017. 08. 07.

Visual Attention and Saliency Detection참고 문헌 45인용 수 116

한 줄 요약

Amulet은 다중 해상도 FCN 특징을 다중 수준 특성 집계 프레임워크(AmuletNet)로 제안하며, 양방향 재귀 감독과 경계 보존 정제를 통해 주목 객체 탐지를 향상시킨다. 주요 데이터셋에서 최첨단 성능을 달성하고 거의 실시간에 근접하게 실행된다.

ABSTRACT

Fully convolutional neural networks (FCNs) have shown outstanding performance in many dense labeling problems. One key pillar of these successes is mining relevant information from features in convolutional layers. However, how to better aggregate multi-level convolutional feature maps for salient object detection is underexplored. In this work, we present Amulet, a generic aggregating multi-level convolutional feature framework for salient object detection. Our framework first integrates multi-level feature maps into multiple resolutions, which simultaneously incorporate coarse semantics and fine details. Then it adaptively learns to combine these feature maps at each resolution and predict saliency maps with the combined features. Finally, the predicted results are efficiently fused to generate the final saliency map. In addition, to achieve accurate boundary inference and semantic enhancement, edge-aware feature maps in low-level layers and the predicted results of low resolution features are recursively embedded into the learning framework. By aggregating multi-level convolutional features in this efficient and flexible manner, the proposed saliency model provides accurate salient object labeling. Comprehensive experiments demonstrate that our method performs favorably against state-of-the art approaches in terms of near all compared evaluation metrics.

연구 동기 및 목표

• 마지막 층의 의미론을 넘어 주목 객체 탐지를 위한 다중 수준 합성곱 특징의 효과적 활용을 촉진한다.
• 거친 의미론과 섬세한 세부 정보를 균형 있게 다루기 위해 다중 해상도로 특징을 집계하는 프레임워크를 개발한다.
• 양방향 정보 흐름을 가능하게 하고 경계 정확도를 향상시키기 위해 재귀적 감독을 도입한다.
• 에지 인식이 가능한 저수준 특징과 저해상도 예측을 도입하여 객체 경계를 정제한다.
• 데이터셋 전반에 걸친 강한 일반화와 GPU에서의 효율적인 추론을 보여준다.

제안 방법

• 다섯 개의 conv 블록으로 구성된 VGG-16 백본에 AmuletNet을 구축하고, 마지막 풀링을 제거하여 conv1-2, conv2-2, conv3-3, conv4-3, conv5-3의 특징을 얻는다.
• 해상도 기반 특징 통합(RFC)을 도입하여 다중 수준 특징을 동시에 여러 해상도로 재조정하고 융합한다.
• 자기회귀 연결과 깊이 있게 감독된 손실을 가진 Deep Recursive Supervision(DRS)을 사용하여 예측 간의 양방향 정보 흐름을 가능하게 한다.
• 에지 인식이 가능한 저수준 특징을 도입하여 최종 주목도 경계를 정제하는 경계 보존 정제(BPR)를 적용한다.
• 여러 수준 예측과 전경/배경 활성화 맵의 적응형 평균-대비 융합을 통해 최종 주목도 맵을 추론한다.

실험 결과

연구 질문

• RQ1 다중 수준, 다중 해상도 특징 집계가 단일 수준의 고수준 특징을 넘어 주목 탐지를 향상시킬 수 있는가?
• RQ2 양방향 재귀 감독이 수준 간 정보 공유를 개선하고 경계 정확도를 향상시킬 수 있는가?
• RQ3 에지 인식이 가능한 저수준 특징과 경계 정제가 주목 경계 위치화에 의미 있게 향상시키는가?
• RQ4 MSRA10K에서 학습했음에도 AmuletNet이 다양한 주목 데이터셋에 대해 일반화될 수 있는가?

주요 결과

• AmuletNet은 DUTS-TE, ECSSD, HKU-IS, PASCAL-S, SOD 등 주요 데이터셋에서 64개 이상의 베이스라인 대비 최첨단 F-measure와 MAE를 달성한다.
• 경계 보존 정제(BPR)는 MAE 및 경계 정확도를 크게 향상시키며, BPR 없이 MAE가 감소하는 아블레이션 결과가 나타난다.
• 해상도와 함께 다중 수준 특징 통합은 단일 해상도 베이스라인보다 성능을 향상시키며, 해상도가 높을수록 더 나은 결과를 보인다.
• 깊은 재귀 감독은 양방향 정보 흐름을 가능하게 하고 주목 작업에서 전통적인 깊이 감독 네트워크를 능가한다.
• MSRA10K에서 학습된 모델은 다른 대규모 데이터셋에 잘 일반화되며 대상 데이터셋에서 사전 학습된 방법을 능가한다.
• 이 접근 방식은 최신 GPU에서 약 초당 16프레임으로 실행된다.