[논문 리뷰] Self-Erasing Network for Integral Object Attention

Qibin Hou, Peng-Tao Jiang외 2명|arXiv (Cornell University)|2018. 10. 23.

Advanced Neural Network Applications참고 문헌 28인용 수 15

한 줄 요약

이 논문은 배경 사전 지식 기반의 자체 지우기 전략을 활용하여 배경 영역으로의 주의 맵 확산을 방지함으로써 약한 지도 학습 세그멘테이션을 위한 새로운 어텐션 메커니즘인 Self-Erasing Network (SeeNet)을 제안한다. 임계값을 적용한 초기 맵을 통해 주의를 가능성이 높은 객체 영역에 국한시킴으로써 SeeNet은 더 높은 품질의 통합된 객체 주의 맵을 생성하며, 기존 방법보다 2% 이상 향상된 성능을 달성하여 Pascal VOC 2012에서 최고 수준의 성능을 기록한다.

ABSTRACT

Recently, adversarial erasing for weakly-supervised object attention has been deeply studied due to its capability in localizing integral object regions. However, such a strategy raises one key problem that attention regions will gradually expand to non-object regions as training iterations continue, which significantly decreases the quality of the produced attention maps. To tackle such an issue as well as promote the quality of object attention, we introduce a simple yet effective Self-Erasing Network (SeeNet) to prohibit attentions from spreading to unexpected background regions. In particular, SeeNet leverages two self-erasing strategies to encourage networks to use reliable object and background cues for learning to attention. In this way, integral object regions can be effectively highlighted without including much more background regions. To test the quality of the generated attention maps, we employ the mined object regions as heuristic cues for learning semantic segmentation models. Experiments on Pascal VOC well demonstrate the superiority of our SeeNet over other state-of-the-art methods.

연구 동기 및 목표

• 약한 지도 학습 객체 탐지 과정에서 악성 지우기 동안 주의 맵이 배경 영역으로 퍼지는 문제를 해결하기 위해.
• 신뢰할 수 있는 배경 및 객체 신호를 통합하여 약한 지도 학습 세그멘테이션을 위한 주의 맵의 품질을 향상시키기 위해.
• 높은 확률의 객체 영역에 주의를 국한시키는 자체 지우기 메커니즘을 개발하여 비객체 영역으로의 과도한 침식을 방지하기 위해.
• SeeNet에서 파생된 고품질의 프록시 지도 데이터가 약한 지도 학습 세그멘테이션 성능을 향상시키는지 입증하기 위해.

제안 방법

• SeeNet은 초기 주의 생성기로 클래스 활성화 맵을 생성하며, 이를 세 영역으로 임계값 처리한다: 고신뢰도 객체, 저신뢰도 객체, 배경.
• 두 가지 자체 지우기 전략을 적용한다: 하나는 저신뢰도 객체 영역을 지우고, 다른 하나는 배경 영역을 지우며, 이는 임계값 처리된 맵을 사전 지식으로 사용한다.
• 배경 영역에서의 주의 억제를 중시하면서도 통합된 객체 영역을 유지하는 방식으로 네트워크를 엔드 투 엔드로 훈련한다.
• 결과적으로 생성된 주의 맵은 시각적 강조 맵과 단순 융합하여 세그멘테이션 네트워크를 훈련하기 위한 힌트로 사용된다.
• 기본 모델로 VGGNet과 DeepLab-LargeFOV를 사용하여 Pascal VOC 2012 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 배경 사전 지식 기반의 자체 지우기 전략이 악성 지우기 과정에서 예상치 못한 배경 영역으로의 주의 확산을 효과적으로 방지할 수 있는가?
• RQ2 초기 주의 맵 기반의 잠재적 영역에 주의를 국한시키는 것이 약한 지도 학습 환경에서 객체 탐지의 품질을 향상시키는가?
• RQ3 SeeNet이 생성한 주의 맵이 CAM 및 악성 지우기 기반 방법보다 세그멘테이션 성능 측면에서 뛰어나게 성능을 내는가?
• RQ4 SeeNet의 프록시 지도 데이터 사용이 약한 지도 학습 세그멘테이션 정확도를 어느 정도 향상시키는가?

주요 결과

• 동일한 VGGNet 백본을 사용할 때 SeeNet은 Pascal VOC 2012 검증 세트에서 DCSP보다 2.1%의 절대적 성능 향상을 달성한다.
• AE-PSL 및 GAIN과 같은 악성 지우기 기반 기준 방법들보다 뚜렷이 뛰어난 성능을 보이며, 주의 맵의 우수성을 입증한다.
• 시각적 결과에서는 SeeNet이 객체 영역 내에서 주의를 유지하며 배경으로의 번지기 현상을 피하는 반면, 기준 방법들은 점차적으로 비객체 영역을 포함하는 경향을 보인다.
• 실패 사례는 주로 겹치거나 모호한 객체 경계로 인해 발생하며, 특히 저대비 또는 다수의 객체가 포함된 복잡한 시나리오에서 두드러진다.
• 명시적인 배경 사전 지식 통합 덕분에 다양한 환경, 특히 복잡한 배경을 가진 환경에서도 강인한 성능을 발휘한다.