[논문 리뷰] Adaptive Fractional Dilated Convolution Network for Image Aesthetics Assessment

Qiuyu Chen, Wei Zhang외 5명|arXiv (Cornell University)|2020. 04. 06.

Visual Attention and Saliency Detection참고 문헌 32인용 수 12

한 줄 요약

이 논문은 이미지의 종횡비를 커널 수준에서 명시적으로 모델링하여 이미지 미학 평가 성능을 향상시키는 적응형 분수 배율 컨볼루션(AFDC) 네트워크를 제안한다. 종횡비에 따라 가장 가까운 정수 배율 컨벌루션 간의 적응적 보간을 통해 구성과 일관성을 유지하면서 추가 파rameter 없이 미니배치 학습을 가능하게 하여 AVA 데이터셋에서 83.24%의 분류 정확도와 0.271의 MSE를 달성하며 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

To leverage deep learning for image aesthetics assessment, one critical but unsolved issue is how to seamlessly incorporate the information of image aspect ratios to learn more robust models. In this paper, an adaptive fractional dilated convolution (AFDC), which is aspect-ratio-embedded, composition-preserving and parameter-free, is developed to tackle this issue natively in convolutional kernel level. Specifically, the fractional dilated kernel is adaptively constructed according to the image aspect ratios, where the interpolation of nearest two integers dilated kernels is used to cope with the misalignment of fractional sampling. Moreover, we provide a concise formulation for mini-batch training and utilize a grouping strategy to reduce computational overhead. As a result, it can be easily implemented by common deep learning libraries and plugged into popular CNN architectures in a computation-efficient manner. Our experimental results demonstrate that our proposed method achieves state-of-the-art performance on image aesthetics assessment over the AVA dataset.

연구 동기 및 목표

• 딥러닝 기반 이미지 미학 평가에서 데이터 증강 과정에서 이미지 종횡비와 구성 유지 문제를 해결한다.
• 일반적인 데이터 증강(예: 자르기, 왜곡)이 종횡비를 왜곡하고 레이블 노이즈를 유발하는 한계를 극복한다.
• 이미지 구성에 연관된 미학 인식을 유지하면서도 미니배치 학습과 호환되는 방법을 개발한다.
• 추가 파rameter나 아키텍처 변경 없이 기존 CNN 아키텍처에 즉시 통합할 수 있도록 한다.
• 컨벌루션 커널 설계에 종횡비 정보를 직접 통합하여 모델의 강인성과 이미지 미학 평가 성능을 향상시킨다.

제안 방법

• 입력 이미지 종횡비에 따라 동적으로 배율 컨벌루션 커널을 구성하는 적응형 분수 배율 컨벌루션(AFDC)을 제안한다.
• 가장 가까운 두 개의 정수 배율 컨벌루션 간 선형 보간을 통해 분수 배율을 계산하여 샘플링 시의 비일치를 방지한다.
• 배치 처리 중 종횡비를 유지하기 위해 구성 보존 왜곡을 적용하여 미니배치 학습을 위한 수식을 구성한다.
• 추론 및 학습 시 계산 비용을 줄이기 위해 그룹화 전략을 도입하여 효율성을 향상시킨다.
• 분수 배율 수준 간에 커널 가중치를 공유함으로써 파rameter가 없는 것을 보장하고 기존 네트워크에 쉽게 통합할 수 있도록 한다.
• 표준 딥러닝 프레임워크(예: PyTorch, TensorFlow)를 사용하여 표준 연산(예: 보간, 딥웨이즈 컨벌루션)을 통해 AFDC 레이어를 구현한다.

실험 결과

연구 질문

• RQ1 종횡비 정보를 컨벌루션 커널에 효과적으로 통합하여 이미지 미학 평가 성능을 향상시킬 수 있는가?
• RQ2 적응형 분수 배율이 이미지 구성 보존과 데이터 증강으로 인한 레이블 노이즈 감소에 기여하는가?
• RQ3 기본 딥러닝 파이프라인에서 표준 미니배치 학습과 호환되는 파rameter가 없는 적응형 컨벌루션 레이어를 만들 수 있는가?
• RQ4 이미지 미학 평가 벤치마크에서 기존 방법과 비교해 AFDC의 성능 및 효율성은 어떠한가?
• RQ5 기존 아키텍처 수정 없이도 AFDC를 인기 있는 CNN 아키텍처에 원활하게 통합할 수 있는가?

주요 결과

• 제안된 AFDC 방법은 AVA 데이터셋에서 83.24%의 분류 정확도와 0.271의 MSE를 기록하여 이전 최신 기술 수준(SOTA) 방법을 초월한다.
• 네 개의 왜곡된 패치(크기 224–320)를 사용할 경우 MSE를 0.271로 낮춰 NIMA(MSE: 0.275)와 비교해 우수한 회귀 성능을 입증한다.
• 단일 왜곡 패치를 사용할 경우 82.98%의 분류 정확도를 기록하여 다중 패치 집계 없이도 뛰어난 성능을 보인다.
• 분류 정확도에서 MNA-CNN-Scene(76.5%)와 AMP(80.3%)를 모두 능가하여 미학 특징 학습 능력이 뛰어나다는 것을 확인한다.
• MP-Net와 A-Lamp와 달리 다중 패치 샘플링 및 집계의 복잡성을 피하면서도 높은 성능(83.24% 정확도)을 유지한다.
• 다양한 종횡비를 가진 이미지에서의 미니배치 학습을 가능하게 하여 이전 방법이 단일 이미지 처리를 요구하는 핵심 한계를 해결한다.