[논문 리뷰] Deep Cropping via Attention Box Prediction and Aesthetics Assessment

Wenguan Wang, Jianbing Shen|arXiv (Cornell University)|2017. 10. 22.

Visual Attention and Saliency Detection인용 수 27

한 줄 요약

이 논문은 시각적으로 중요한 영역을 식별하기 위해 주의 박스를 예측한 후, 그 주변의 후보들 중에서 미적 평가를 통해 최적의 컷을 생성하고 선택하는 딥러닝 기반의 사진 컷팅 방법을 제안한다. 이 방법은 작업 간 특징 공유와 대규모 주의 및 미적 평가 데이터셋을 활용해 훈련함으로써 5 fps의 추론 속도를 달성하면서도 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We model the photo cropping problem as a cascade of attention box regression and aesthetic quality classification, based on deep learning. A neural network is designed that has two branches for predicting attention bounding box and analyzing aesthetics, respectively. The predicted attention box is treated as an initial crop window where a set of cropping candidates are generated around it, without missing important information. Then, aesthetics assessment is employed to select the final crop as the one with the best aesthetic quality. With our network, cropping candidates share features within full-image convolutional feature maps, thus avoiding repeated feature computation and leading to higher computation efficiency. Via leveraging rich data for attention prediction and aesthetics assessment, the proposed method produces high-quality cropping results, even with the limited availability of training data for photo cropping. The experimental results demonstrate the competitive results and fast processing speed (5 fps with all steps).

연구 동기 및 목표

• 기존 슬라이딩 윈도우 컷팅 방법의 비효율성과 체계적인 검색 전략의 부자연스러움을 해결하기 위해.
• 통합된 딥러닝 프레임워크 내에서 인간의 시각적 주의와 미적 판단을 통합하여 컷팅 품질을 향상시키기 위해.
• 희소한 전문가 애너테이션을 가진 컷팅 데이터셋에 대한 의존도를 줄이기 위해, 풍부한 주의 및 미적 데이터를 활용하기 위해.
• 특징 공유와 국소적 후보 생성을 통해 고성능의 계산 효율성을 달성하기 위해.
• 컷팅을 자연스러운 이중 단계 과정으로 모델링하기 위해: 주의 기반으로 초도 컷을 결정하고, 이후에 미적 평가를 통해 보완하기 위해.

제안 방법

• 주목 박스 예측(ABP)과 미적 평가(AA)를 위한 두 개의 공유 밑바닥 브랜치를 가진 완전 컨volution 신경망을 사용한다.
• 회귀를 통해 주목 박스를 예측하여 가장 시각적으로 급격한 영역을 초도 컷으로 식별한다.
• 예측된 주목 박스 중심으로 약 1000개의 컷 후보를 생성하여 검색 공간을 제한한다.
• ABP 및 AA 네트워크 간에 초기 컨볼루션 특징을 공유하여 추론 시 계산 비용을 절감한다.
• 이미지 전체에 한 번만 네트워크를 적용하여 공유된 특징 맵을 추출한 후, 각 후보에 대해 특징을 잘라내기만 하여 재처리를 방지한다.
• AA 네트워크에서 예측된 최고의 미적 점수를 가진 후보를 최종 컷으로 선택한다.

Figure 1 : (a)-(c) Flowchart of our method. (d) Conventional methods apply sliding-judging cropping strategy, which is time-consuming and violates natural cropping procedure. (e) Our method works as a cascade of attention-aware crop candidates generation and aesthetics-based crop window selection, w

실험 결과

연구 질문

• RQ1 주목 기반 후보 생성과 미적 평가 기반 선택의 계층적 접근이 기존 슬라이딩 윈도우 방법보다 사진 컷팅 성능을 뛰어나게 할 수 있는가?
• RQ2 주목 예측과 미적 평가 간의 특징 공유가 정확도를 희생시키지 않으면서도 효율성을 향상시키는 데 얼마나 효과적인가?
• RQ3 대규모 주목 및 미적 평가 데이터셋에 사전 훈련된 모델이 제한된 컷팅 전용 애너테이션을 보완하는 데 얼마나 효과적인가?
• RQ4 주어진 주목 기반으로 초도 컷을 결정하고, 이후에 보완하는 결정-조정 과정으로 모델링하는 것이 종단 간 슬라이딩 윈도우 최적화 방식보다 인간의 컷팅 행동을 더 잘 반영하는가?
• RQ5 실시간 응용 프로그램에서 계산 효율성과 컷팅 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 MSR-ICD 데이터셋에서 IoU 점수 0.813을 기록하여 이전 방법들인 LCC(0.748)와 ATC(0.605)를 크게 앞서며 최고 성능을 달성했다.
• FLMS 데이터셋에서는 IoU 0.810과 BDE 0.057을 기록하여 VBC(IoU: 0.74)와 MPC(IoU: 0.41)를 포함한 모든 비교 방법을 초월했다.
• 이 방법은 5 프레임 매초의 속도로 이미지를 처리하여 실시간 응용에 적합한 높은 계산 효율성을 입증했다.
• 공유된 특징 아키텍처는 중복 계산을 줄여 빠른 추론을 가능하게 하면서도 높은 정확도를 유지한다.
• 제한된 컷팅 전용 훈련 데이터에도 불구하고 모델은 잘 일반화되며, 주의 및 미적 분야의 풍부한 사전 존재 데이터셋을 활용한다.
• 정성적 결과는 예측된 주목 박스가 인간이 애너테이션한 주목 영역과 잘 일치하며, 최종 컷이 시각적으로 매력적이고 구성적으로 균형 잡혀 있음을 보여준다.

Figure 2 : (a) Input image. (b) Attention map. (c) Ground truth attention box generation via [ 3 ] . (d) Positive (red) and negative (blue) defaults boxes are generated for training ABP network according to ground truth attention box.