[논문 리뷰] Reliable and Efficient Image Cropping: A Grid Anchor based Approach

Hui Zeng, Lida Li외 2명|arXiv (Cornell University)|2019. 04. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 이미지 자르기 작업을 위한 격자 앵커 기반 방법을 제안하며, 후보 자르기 수를 수백만 개에서 100개 이하로 줄여 검색 공간을 획기적으로 축소한다. 이를 통해 1,236장의 이미지에 걸쳐 총 106,860개의 레이블이 부여된 새로운 벤치마크를 구축하였다. 이 방법은 경량이고 효율적인 네트워크를 사용하여 125 FPS의 빠른 속도로 미려한 자르기 결과를 생성하며, 기존 방법에 비해 정확도와 속도 면에서 뛰어나며, IoU 기반 평가의 한계와 희박한 인간 레이블의 문제를 해결한다.

ABSTRACT

Image cropping aims to improve the composition as well as aesthetic quality of an image by removing extraneous content from it. Existing image cropping databases provide only one or several human-annotated bounding boxes as the groundtruth, which cannot reflect the non-uniqueness and flexibility of image cropping in practice. The employed evaluation metrics such as intersection-over-union cannot reliably reflect the real performance of cropping models, either. This work revisits the problem of image cropping, and presents a grid anchor based formulation by considering the special properties and requirements (e.g., local redundancy, content preservation, aspect ratio) of image cropping. Our formulation reduces the searching space of candidate crops from millions to less than one hundred. Consequently, a grid anchor based cropping benchmark is constructed, where all crops of each image are annotated and more reliable evaluation metrics are defined. We also design an effective and lightweight network module, which simultaneously considers the region of interest and region of discard for more accurate image cropping. Our model can stably output visually pleasing crops for images of different scenes and run at a speed of 125 FPS. Code and dataset are available at: https://github.com/HuiZeng/Grid-Anchor-based-Image-Cropping.

연구 동기 및 목표

• 기존의 이미지 자르기 벤치마크가 각 이미지당 하나 또는 몇 개의 인간 레이블만 제공하는 데서 비롯되는 한계를 해결하고자 하며, 이는 실제 자르기 작업에서의 비유일성과 유연성을 반영하지 못한다.
• IoU와 같은 표준 평가 지표의 신뢰성 부족 문제를 해결하고자 하며, 이는 외관상으로는 불미스러운 자르기 결과가 더 나은 구성보다 높은 점수를 받을 수 있다는 점을 시사한다.
• 격자 앵커 설정을 통해 후보 자르기의 막대한 검색 공간(수백만 개에서 100개 이하로)을 극도로 줄여 효율적이고 효과적인 학습을 가능하게 하고자 한다.
• 다양한 장면과 종횡비에 걸쳐 시각적으로 매력적인 자르기 결과를 생성할 수 있는 경량이며 고속의 모델을 개발하고자 한다.
• 밀도 높은 자르기 레이블과 신뢰할 수 있는 평가 지표를 갖춘 새로운 종합적 벤치마크를 구축하여 객관적인 모델 비교를 가능하게 하고자 한다.

제안 방법

• 이미지를 고정된 격자로 나누어 후보 자르기 영역을 이산화하는 격자 앵커 기반 설정을 제안하며, 이로 인해 이미지당 후보 수를 수백만 개에서 100개 이하로 극도로 줄였다.
• 관심 영역과 기각할 영역을 동시에 모델링하는 새로운 경량 CNN 기반 자르기 모듈을 설계하여 자르기 선택 성능을 향상시켰다.
• 신뢰성 있는 이중 단계 레이블링 전략을 활용하여 1,236장의 소스 이미지와 106,860개의 레이블이 부여된 새로운 벤치마크를 구축하였다. 이는 다양한 장면과 종횡비를 포함한다.
• 신뢰할 수 있는 상호 비교를 기반으로 한 새로운 평가 지표 두 가지를 정의하였으며, 기존 IoU 기반 평가 방식을 대체하여 시각적 미학 품질을 더 잘 반영한다.
• 이중 단계 학습 파이프라인을 활용한다. 첫 번째 단계에서는 신뢰할 수 있는 상호 비교 순서를 기반으로 View Evaluation Network(VEN)를 학습하고, 두 번째 단계에서는 VEN의 예측 결과를 이용해 추론용으로 더 빠른 View Proposal Network(VPN)을 지도학습시킨다.
• 축소된 검색 공간과 효율적인 네트워크 아키텍처를 활용하여 추론 속도를 최적화하였으며, 표준 하드웨어에서 125 FPS의 높은 성능을 달성하였다.

실험 결과

연구 질문

• RQ1 격자 앵커 기반 설정이 시각적 품질과 유연성을 유지하면서도 이미지 자르기의 검색 공간을 극적으로 줄일 수 있는가?
• RQ2 밀도 높은 다중 자르기 레이블을 갖춘 벤치마크는 단일 또는 소수의 자르기 레이블보다 더 신뢰할 수 있는 모델 평가를 가능하게 하는가?
• RQ3 새로운 벤치마크에서 학습된 경량형 엔드 투 엔드 네트워크가 기존 최고 수준의 모델보다 정확도와 추론 속도 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 특히 외관상으로 매력적인 자르기 결과가 열등한 구성보다 낮은 IoU 점수를 기록할 경우, IoU는 이미지 자르기 모델 평가에 신뢰할 수 있는 지표인가?
• RQ5 상호 비교 순서 기반 지도 학습을 통해 훈련된 모델이 다양한 종횡비와 이미지 구성에 대해 잘 일반화될 수 있는가?

주요 결과

• 제안된 격자 앵커 기반 방법은 이미지당 후보 자르기 수를 수백만 개에서 100개 이하로 줄여 효율적이고 확장 가능한 학습을 가능하게 하였다.
• 새로운 벤치마크는 1,236장의 소스 이미지와 106,860개의 레이블이 포함되어 있어 평가에 위한 종합적이고 신뢰할 수 있는 데이터셋을 제공한다.
• 모델은 125 FPS의 추론 속도를 달성하여 A2-RL(반복적으로 자르기 결과를 개선함) 및 VFN/VDN(각각 자르기 결과를 개별적으로 처리함)과 같은 경쟁 모델들보다 뚜렷이 빠른 성능을 보였다.
• 정량적 평가 지표에서 제안된 방법은 VEN, VFN, A2-RL을 크게 앞서며, 상위 1, 5, 10 순위에서 높은 정확도를 기록하였다.
• 다양한 장면—단일 객체, 다중 객체, 건물, 풍경 등—과 다양한 종횡비에서 일관되게 시각적으로 매력적인 자르기 결과를 생성하였다.
• 신뢰할 수 있는 상호 비교를 기반으로 한 새로운 평가 지표는, IoU 기반 평가에서 강력한 베이스라인인 Baseline_N과 Baseline_C가 최근의 많은 모델들보다 높은 성능을 보임을 시사하며, IoU가 평가 지표로서의 신뢰성에 의문을 제기한다.