[논문 리뷰] Camera View Adjustment Prediction for Improving Image Composition

Yu-Chuan Su, Raviteja Vemulapalli외 5명|arXiv (Cornell University)|2021. 04. 15.

Visual Attention and Saliency Detection참고 문헌 40인용 수 5

한 줄 요약

이 논문은 촬영 전 이미지 구성 향상을 위해 최적의 카메라 뷰 조정(팬, 틸트, 줌, 회전)을 예측하는 딥러닝 기반 시스템을 제안한다. 자체 구축한 뷰 조정 데이터셋을 기반으로 한 새로운 반감독 학습 접근법을 사용하여, 사용자 연구에서 79%의 경우에 구성 향상을 달성하였으며, 촬영 후 크롭만 하는 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Image composition plays an important role in the quality of a photo. However, not every camera user possesses the knowledge and expertise required for capturing well-composed photos. While post-capture cropping can improve the composition sometimes, it does not work in many common scenarios in which the photographer needs to adjust the camera view to capture the best shot. To address this issue, we propose a deep learning-based approach that provides suggestions to the photographer on how to adjust the camera view before capturing. By optimizing the composition before a photo is captured, our system helps photographers to capture better photos. As there is no publicly-available dataset for this task, we create a view adjustment dataset by repurposing existing image cropping datasets. Furthermore, we propose a two-stage semi-supervised approach that utilizes both labeled and unlabeled images for training a view adjustment model. Experiment results show that the proposed semi-supervised approach outperforms the corresponding supervised alternatives, and our user study results show that the suggested view adjustment improves image composition 79% of the time.

연구 동기 및 목표

• 촬영 후 크롭 처리의 한계를 해결하기 위해 촬영 전 뷰 조정 제안 기능을 제공함으로써 이미지 구성 향상을 도모하는 것.
• 이 작업을 위한 공개된 데이터셋이 없었기 때문에, 뷰 조정 예측을 위한 새로운 벤치마크 데이터셋을 구축하는 것.
• 라벨이 부여된 데이터와 라벨이 부여되지 않은 데이터를 모두 활용하여 모델 일반화 능력을 향상시키기 위한 이중 단계 반감독 학습 방법을 개발하는 것.
• 뷰 조정 제안이 기준 크롭 방법에 비해 이미지 구성 향상에 실제로 유의미하게 기여하는지 평가하는 것.
• 360° 이미지에 대해 모델의 일반화 능력을 입증하고, 복잡한 구성에 대해 반복적인 조정을 가능하게 하는 것.

제안 방법

• 기존의 이미지 크롭 애너테이션을 활용해 2D 바운딩 박스 기반의 뷰 조정 작업(팬, 틸트, 줌, 회전)으로 변환하여 뷰 조정 데이터셋을 구축하였다.
• 이중 단계 반감독 학습 프레임워크를 제안: 첫 번째 단계에서 라벨이 부여된 데이터를 사용해 구성 점수 모델을 학습하고, 두 번째 단계에서 자기지도 학습 기반의 대비 학습을 통해 라벨이 없는 데이터를 활용해 모델을 미세 조정하였다.
• 뷰 조정을 상대적 변환으로 표현: 수평/수직 이동(이미지 크기의 %로), 줌(스케일 요소), 회전(라디안 단위).
• 입력 이미지의 특징을 추출하고 최적의 조정 벡터를 예측하기 위해 비전 트랜스포머 백본을 사용하였다.
• 360° 이미지 평가 시 반복적인 뷰 조정을 적용하여, 초깃시점 뷰포트에서 더 나은 구성에 도달할 수 있도록 허용하였다.
• 예측된 뷰 조정과 진짜 값 간의 IoU를 사용해 모델 성능을 평가하였으며, 주관적인 구성 품질 평가를 위해 사용자 연구도 실시하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 크롭만 가능한 것보다 더 나은 결과를 내기 위해 촬영 전 뷰 조정을 효과적으로 예측할 수 있는가?
• RQ2 라벨이 부족한 상황에서 반감독 학습 접근법이 뷰 조정 예측 성능 향상에 얼마나 효과적인가?
• RQ3 제안된 모델이 시야가 제한되지 않고 시각 왜곡이 없는 360° 이미지에 일반화되는가?
• RQ4 사용자가 애너테이션을 부여한 선호도가 모델의 제안 조정과 구성 품질 측면에서 얼마나 일치하는가?
• RQ5 단일 단계 예측보다 반복적인 뷰 조정이 복잡한 장면에서 구성 향상에 더 신뢰성 있게 기여하는가?

주요 결과

• 제안된 반감독 접근법은 진짜 값과의 IoU가 0.75를 기록하여, 최신 기술인 GAIC 크롭 모델(0.61 IoU)을 뛰어넘었다.
• 사용자 연구에서 모델의 제안 조정은 79.0%의 경우에 이미지 구성 향상을 이끌었으며, 단지 12.6%의 경우에만 구성 품질이 악화되었다.
• 모델은 360° 이미지에 대해 잘 일반화되었으며, 훈련 데이터에 포함되지 않은 Pano2Vid 데이터셋에서 78.9%의 성공률로 구성 향상을 달성하였다.
• 모델은 360° 환경에서 반복적인 조정을 수행할 수 있었으며, 이는 단일 단계 조정이 부족한 경우에도 다단계 정밀 조정이 구성 향상에 유리함을 시사한다.
• 실패 사례의 주요 원인은 미세한 조정 또는 초깃시점 뷰에서 핵심 콘텐츠가 누락된 경우였으며, 잘못된 크기 예측은 때때로 구성 품질을 떨어뜨렸다.