[논문 리뷰] Neural Aesthetic Image Reviewer

Wenshan Wang, Su Yang외 2명|arXiv (Cornell University)|2018. 02. 28.

Visual Attention and Saliency Detection참고 문헌 26인용 수 3

한 줄 요약

이 논문은 종속된 미적 평가 점수와 그 점수에 대한 자연어 설명을 동시에 예측하는 엔드 투 엔드 딥 러닝 모델인 신경형 미적 이미지 리뷰어(NAIR)를 제안한다. 이는 공유된 미적 의미층과 작업별 임베딩을 갖춘 다중 작업 학습 프레임워크를 사용한다. 모델은 새로운 수집된 AVA-Reviews 데이터셋에서 인간의 인식과 일치하는 추론을 보이며, 미적 분류 및 댓글 생성 모두에서 베이스라인을 능가한다.

ABSTRACT

Recently, there is a rising interest in perceiving image aesthetics. The existing works deal with image aesthetics as a classification or regression problem. To extend the cognition from rating to reasoning, a deeper understanding of aesthetics should be based on revealing why a high- or low-aesthetic score should be assigned to an image. From such a point of view, we propose a model referred to as Neural Aesthetic Image Reviewer, which can not only give an aesthetic score for an image, but also generate a textual description explaining why the image leads to a plausible rating score. Specifically, we propose two multi-task architectures based on shared aesthetically semantic layers and task-specific embedding layers at a high level for performance improvement on different tasks. To facilitate researches on this problem, we collect the AVA-Reviews dataset, which contains 52,118 images and 312,708 comments in total. Through multi-task learning, the proposed models can rate aesthetic images as well as produce comments in an end-to-end manner. It is confirmed that the proposed models outperform the baselines according to the performance evaluation on the AVA-Reviews dataset. Moreover, we demonstrate experimentally that our model can generate textual reviews related to aesthetics, which are consistent with human perception.

연구 동기 및 목표

• 인공지능 시스템이 인간의 사고 방식과 유사하게 이미지의 미적 수준을 인식하고 자연어 설명을 생성할 수 있는지 조사한다.
• 설명 가능한 텍스트 피드백을 통합함으로써 전통적인 이미지 미적 분류를 확장한다.
• 모든 작업을 엔드 투 엔드 방식으로 수행하는 통합된 딥 러닝 프레임워크를 개발한다.
• 52,118장의 이미지와 312,708개의 사용자 생성 댓글을 포함한 AVA-Reviews 데이터셋을 수집 및 공개하여 설명 가능한 이미지 미적 평가 연구를 촉진한다.

제안 방법

• 시각적 특징 추출을 위한 CNN과 텍스트 생성을 위한 RNN을 조합한 다중 작업 신경망 아키텍처를 제안하며, 높은 수준의 공유된 미적 의미층을 통해 두 작업의 성능을 향상시킨다.
• 공유된 미적 의미층과 작업별 임베딩 레이어를 갖춘 두 가지 새로운 아키텍처—Model-I와 Model-II—를 도입하여 분류 및 생성 작업에 대한 특징 표현을 향상시킨다.
• 시각적 특징을 이미지에서 인코딩하고, RNN 기반 언어 생성기로 디코딩하여 자연어 댓글을 생성하는 CNN-RNN 프레임워크를 활용한다.
• 이미지의 미적 분류와 자연어 댓글 생성을 동시에 최적화하는 다중 작업 학습을 활용하여 일반화 능력과 성능을 향상시킨다.
• Dpchallenge에서 수집한 AVA-Reviews 데이터셋을 활용하며, 이는 52,118장의 이미지와 312,708개의 사용자 댓글을 포함하여 미적 점수와 기술적 인사이트를 연결한다.
• 분류 작업에 대한 교차 엔트로피 손실과 댓글 생성 작업에 대한 언어 모델링 손실을 사용하여 모델을 엔드 투 엔드로 훈련하며, 고수준 레이어에서 공유된 표현을 통해 의미 일치를 유도한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 인간의 미적 인식과 유사하게 이미지의 미적 점수를 동시에 예측하고 자연어 설명을 생성할 수 있는가?
• RQ2 공유된 고수준 의미층을 통합함으로써, 미적 분류 및 기술적 설명 생성 성능이 어떻게 향상되는가?
• RQ3 모델이 구성, 선명도, 조명과 같은 특정한 미적 원칙을 반영한 댓글을 얼마나 잘 생성할 수 있는가?
• RQ4 공유된 구성 요소와 작업별 구성 요소를 함께 사용하는 다중 작업 학습이 단일 작업 또는 단순한 다중 작업 베이스라인보다 성능을 더 좋게 만드는가?
• RQ5 모델이 실제 세계의 이미지 미적 평가에서의 참값 사용자 댓글과 의미적으로 일치하는 설명을 생성할 수 있는가?

주요 결과

• 제안된 Model-I는 AVA-Reviews 데이터셋에서 기존 모델 대비 이미지 미적 예측 성능 평균 4.0% 향상 및 시각-언어 생성 성능 2.0% 향상 달성.
• 작업별 임베딩을 추가로 통합한 Model-II는 Model-I를 초월하여, 공유된 작업 정보와 작업별 정보를 조합함으로써 두 작업 모두에서 성능 향상을 입증.
• 모델에서 생성된 댓글은 인간의 직관과 의미적으로 일치하며, 낮은 미적 수준의 이미지에서 '너무 흐림', '눈에 띄는 배경', '너무 작음' 등의 문제를 식별한다.
• 높은 미적 수준의 이미지에서는 '깃털의 높은 디테일', '매우 좋은 포트레이트'와 같은 타당한 근거를 생성하여 참값 댓글과 유사하게 작동한다.
• 다중 작업 베이스라인은 제안된 모델보다 성능이 열 劣하므로, 단순히 CNN 가중치를 공유하는 것만으로는 성능이 악화됨을 시사한다.
• 정성적 결과는 모델이 다양하고 맥락에 맞으며 인지적으로 타당한 미적 리뷰를 생성함을 확인하며, 단순한 분류를 넘어서 이미지의 미적 특성을 추론할 수 있음을 입증한다.