[논문 리뷰] Agile Amulet: Real-Time Salient Object Detection with Contextual Attention

Pingping Zhang, Luyao Wang외 3명|arXiv (Cornell University)|2018. 02. 20.

Visual Attention and Saliency Detection참고 문헌 57인용 수 20

한 줄 요약

이 논문은 맵핑된 주변 정보를 활용해 특징 학습을 안내하는 맥락적 주의 모듈과 새로운 다중 수준 특징 집합 방법을 사용하여 모델 크기와 계산량을 줄이는 경량이고 실시간 동작이 가능한 주목적 객체 탐지 프레임워크인 Agile Amulet을 제안한다. 이 방법은 30 fps의 추론 속도, 67 MB의 모델 크기, 일곱 가지 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법들보다 속도와 정확도 면에서 모두 뛰어나다.

ABSTRACT

This paper proposes an Agile Aggregating Multi-Level feaTure framework (Agile Amulet) for salient object detection. The Agile Amulet builds on previous works to predict saliency maps using multi-level convolutional features. Compared to previous works, Agile Amulet employs some key innovations to improve training and testing speed while also increase prediction accuracy. More specifically, we first introduce a contextual attention module that can rapidly highlight most salient objects or regions with contextual pyramids. Thus, it effectively guides the learning of low-layer convolutional features and tells the backbone network where to look. The contextual attention module is a fully convolutional mechanism that simultaneously learns complementary features and predicts saliency scores at each pixel. In addition, we propose a novel method to aggregate multi-level deep convolutional features. As a result, we are able to use the integrated side-output features of pre-trained convolutional networks alone, which significantly reduces the model parameters leading to a model size of 67 MB, about half of Amulet. Compared to other deep learning based saliency methods, Agile Amulet is of much lighter-weight, runs faster (30 fps in real-time) and achieves higher performance on seven public benchmarks in terms of both quantitative and qualitative evaluation.

연구 동기 및 목표

• 자원 제약이 있는 디바이스에서 특히 높은 계산 비용과 느린 추론 속도를 보이는 기존 딥러닝 기반의 주목성 탐지 방법을 해결하기 위해.
• 정확도를 유지하거나 향상시키면서 모델 복잡성과 파라미터 수를 줄이기 위해.
• 주의 지도를 통한 특징 학습 가속화로 학습 효율성을 향상시키기 위해.
• 표준 GPU에서 실시간 추론(30 fps)을 가능하게 하고, 심지어 CPU에서도 3.51 fps의 성능을 달성하여 실제 응용 분야에 구현 가능하게 하기 위해.
• 복잡하고 반복적인 아키텍처에 의존하지 않고도 다양한 벤치마크에서 높은 성능을 유지하는 가벼운 프레임워크 개발하기 위해.

제안 방법

• 특징 맵과 이전 예측 결과로부터 다중 척도의 맥락적 피라미드를 생성하는 맥락적 주의 모듈을 도입하여 주목적 영역을 강조한다.
• 위에서 아래로 주의를 적용하여 네트워크가 객체 관련 영역에 집중하도록 하여 저수준의 컨볼루션 특징 학습을 안내한다.
• 사전 훈련된 백본(예: VGG-16)의 측면 출력 특징만을 사용하는 새로운 반복적 특징 집합 방법을 적용하여 추가 융합 모듈이 필요 없도록 한다.
• 반복적 예측을 통해 단일 단계 예측보다 일관성과 성능을 향상시키는 점진적 개선을 실현한다.
• 어느 컨볼루션 신경망 레이어 사이에도 주의 및 집합 모듈을 통합한 완전 컨볼루션형, 엔드 투 엔드 학습 가능한 아키텍처를 설계한다.
• 사전 훈련된 특징을 직접 활용하여 학습 가능한 파라미터 수를 줄이고, 더 빠른 학습 및 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에서 특징 학습을 안내하기 위해 맥락적 주의 메커니즘이 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 성능을 훼손하지 않으면서 모델 크기와 계산량을 줄이기 위해 다중 수준 특징 집합을 단순화할 수 있는가?
• RQ3 사전 훈련된 백본의 측면 출력 특징만을 사용하는 것이 빠른 학습 및 추론을 가능하게 하면서도 최신 기술 수준의 정확도를 유지할 수 있는가?
• RQ4 제안된 방법이 표준 하드웨어에서 실시간 추론(≥30 fps)을 달성하면서도 기존 방법들을 능가할 수 있는가?
• RQ5 위에서 아래로 주의와 맥락적 피라미드의 통합이 하향식 또는 단일 척도 주의와 비교해 탐지 성능에 어떤 영향을 미치는가?

주요 결과

• 단일 GPU에서 Agile Amulet는 30.2 fps의 추론 속도를 기록하여 Amulet(15.4 fps)과 DSS(2.1 fps)를 크게 앞서며 실시간 배포가 가능하다.
• 추가 파라미터가 없는 효율적인 특징 집합 덕분에 모델 크기가 67 MB로 줄어들었으며, 이는 Amulet(126 MB)의 약 절반 수준이다.
• 일곱 개의 공개 벤치마크에서 Agile Amulet는 최신 기술 수준의 성능을 달성했으며, F-측정치로는 ECSSD에서 0.887, HKU-IS에서 0.861, PASCAL-S에서 0.794를 기록하여 이전 방법들을 능가했다.
• 학습 시간은 Amulet의 107시간에서 Agile Amulet의 22시간으로 줄어들어 약 5배 빨라졌으며, 주로 주의 모듈이 객체 관련 특징 학습을 가속화했기 때문이다.
• 제거 분석 결과, 맥락적 피라미드와 함께 위에서 아래로 주의를 적용할 경우 기준 모델 대비 성능이 4% 향상되었지만, 하향식 주의만 사용할 경우 향상가능성이 없었다.
• 백본으로 ResNet-50을 사용할 경우 정확도가 더욱 향상되었으며(BCSSD에서 F-측정치 0.912), 이는 방법의 강력한 특징과의 호환성 및 확장 가능성을 보여준다.