[논문 리뷰] Deep Blur Mapping: Exploiting High-Level Semantics by Deep Neural Networks

Kede Ma, Huan Fu외 3명|arXiv (Cornell University)|2016. 12. 05.

Advanced Image Processing Techniques참고 문헌 48인용 수 4

한 줄 요약

이 논문은 고도의 의미적 특징을 활용하여 정밀한 국소 블러 맵을 생성하는 엔드 투 엔드 완전 컨volution 신경망(FCN)인 딥 블러 매핑(DBM)을 제안한다. 저수준 통계 대신 깊은 특징을 활용함으로써, 표준 블러 검출 벤치마크에서 기존 방법보다 뚜렷하게 뛰어난 SOTA 성능을 기록하며 ODS F-스코어 0.853을 달성하였다. 이는 평탄한 영역과 블러 영역를 구분하고, 모호한 케이스를 해결하는 데서 두각을 나타낸다.

ABSTRACT

The human visual system excels at detecting local blur of visual images, but the underlying mechanism is not well understood. Traditional views of blur such as reduction in energy at high frequencies and loss of phase coherence at localized features have fundamental limitations. For example, they cannot well discriminate flat regions from blurred ones. Here we propose that high-level semantic information is critical in successfully identifying local blur. Therefore, we resort to deep neural networks that are proficient at learning high-level features and propose the first end-to-end local blur mapping algorithm based on a fully convolutional network. By analyzing various architectures with different depths and design philosophies, we empirically show that high-level features of deeper layers play a more important role than low-level features of shallower layers in resolving challenging ambiguities for this task. We test the proposed method on a standard blur detection benchmark and demonstrate that it significantly advances the state-of-the-art (ODS F-score of 0.853). Furthermore, we explore the use of the generated blur maps in three applications, including blur region segmentation, blur degree estimation, and blur magnification.

연구 동기 및 목표

• 기존 블러 검출 방법이 저수준 특징에 의존하여 평탄한 영역와 블러 영역를 구분하지 못하는 근본적 한계를 해결하기 위해.
• 특히 모호한 시각적 맥락에서 국소 블러 맵 정확도 향상에 고수준 의미 정보가 기여하는지 탐구하기 위해.
• 공간적 세부 정보를 유지하고 다양한 이미지 콘텐츠에 일반화 가능한 엔드 투 엔드 이미지-투-이미지 블러 맵핑 시스템을 개발하기 위해.
• 학습된 블러 맵이 세그멘테이션, 블러 정도 추정, 블러 확대와 같은 후속 응용 분야에서 어떻게 유용한지 입증하기 위해.

제안 방법

• 완전 컨volution 신경망(FCN)을 기반으로 한 수정된 VGGNet 아키텍처를 제안하며, 엔드 투 엔드의 공간적으로 조밀한 예측을 가능하게 하기 위해 완전 연결 층을 제거한다.
• 다양한 네트워크 깊이에서의 특징 기여도 평가를 위해 16층 VGGNet의 다양한 컨볼루션 스테이지에서 트리밍을 수행한다.
• 네트워크에 rich한 고수준 의미 정보를 통합하기 위해 의미 분할 작업에서 사전 학습된 가중치를 활용한다.
• 픽셀 단위의 블러 신뢰도 예측 최적화를 위해 다중 척도 손실 전략을 적용한다.
• 생성된 블러 맵을 인터랙티브 세그멘테이션(GrabCut), 블러 정도 추정(평균 블러 신뢰도), 블러 확대(Gaussian 컨볼루션을 고신뢰도 픽셀에 적용)의 마스크로 활용한다.
• 저수준 공간적 특징과 고수준 의미 정보를 더 잘 융합하기 위해 방향성 비순환 그래프(DAG) 아키텍처를 탐색하지만, 유의미한 성능 향상은 관찰되지 않는다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 고수준 의미 특징이 기존의 저수준 특징 기반 방법에 비해 국소 블러 맵 정확도 향상에 기여하는가?
• RQ2 얕은 층 대비 깊은 층에서 유도된 특징이 평탄한 영역와 텍스처가 블러된 영역를 구분하는 데 어떻게 기여하는가?
• RQ3 구조적 유사성이 블러를 가리키는 경우, 고수준 의미 정보가 복잡한 시나리오에서 블러 탐지에 얼마나 기여하는가?
• RQ4 학습된 블러 맵이 세그멘테이션, 블러 추정, 이미지 향상과 같은 후속 비전 작업에서 효과적으로 재사용 가능한가?

주요 결과

• 제안된 DBM은 표준 블러 검출 벤치마크에서 SOTA 성능을 기록하며 ODS F-스코어 0.853을 달성하였다. 이는 기존 방법보다 뚜렷하게 뛰어난 성능이다.
• 실험 결과, 모호한 블러 케이스를 해결하는 데 있어 네트워크의 깊은 층에서 유도된 특징이 얕은 층의 특징보다 더 중요한 역할을 함을 입증하였으며, 고수준 의미론의 중요성을 확인하였다.
• 기존 방법이 실패하는 핵심 케이스인 평탄한 영역(자연스럽게 매끄러운 영역)과 블러 영역(텍스처 손실)를 성공적으로 구분하였다.
• DBM이 생성한 블러 맵은 세그멘테이션 성능을 향상시켰으며, 기존 기준 대비 평탄한 영역가 잘못 분류되는 경우가 줄어들고, 더 잘 연결된 영역 세그멘테이션 결과를 도출하였다.
• 블러 정도 추정에서 블러 맵은 평균 신뢰도 점수가 인간의 블러 강도 인식과 매우 유사하게 일치함을 보였다.
• 블러 확대 작업에서 DBM은 명료한 영역와 블러 영역 간 매끄러운 전이를 보이며 시각적으로 일관된 결과를 생성하였고, 기존 방법이 구조를 왜곡하는 것과 대비되었다.