[논문 리뷰] A Hypothesis for the Aesthetic Appreciation in Neural Networks

Xu Cheng, Xin Wang외 3명|arXiv (Cornell University)|2021. 07. 31.

Aesthetic Perception and Analysis참고 문헌 68인용 수 4

한 줄 요약

이 논문은 미적 이미지가 두드러진 개념을 강화하고 부차적인 개념을 억제함으로써 신경망 성능을 향상시킨다고 가설을 제기한다. 사전 훈련된 ResNet-18에서 다변량 상호작용 분석을 사용하여, 고영향도 특징 상호작용을 강화함으로써 시각적으로 더 매력적인 출력을 도출한다. 이는 전경/배경의 날카러움/흐림 효과에 대한 정성적 및 확률적 분석을 통해 검증되었다.

ABSTRACT

This paper proposes a hypothesis for the aesthetic appreciation that aesthetic images make a neural network strengthen salient concepts and discard inessential concepts. In order to verify this hypothesis, we use multi-variate interactions to represent salient concepts and inessential concepts contained in images. Furthermore, we design a set of operations to revise images towards more beautiful ones. In experiments, we find that the revised images are more aesthetic than the original ones to some extent.

연구 동기 및 목표

• 이미지의 미적 감상이 신경망이 두드러진 개념을 강화하고 부차적인 개념을 억제함으로써 유도되는지 탐구하는 것.
• 고영향도 특징 상호작용을 강화하고 저영향도 특징 상호작용을 감소시키는 이미지 수정 방법을 개발하는 것.
• 통제된 이미지 수정을 통해 인지적 미적 향상을 측정하여 가설을 검증하는 것.
• 딥 뉴럴 네트워크 활성화에서 다변량 상호작용의 기능으로서 미적 품질을 모델링하는 것.
• DNN 기반 이미지 편집을 통해 국소적(로컬) 대비 전반적(글로벌) 맥락의 역할을 미적 인식에 대해 탐색하는 것.

제안 방법

• 이 방법은 게임 이론에서 유래한 다변량 상호작용 측정법을 사용하여 픽셀 그룹이 DNN의 분류 신뢰도에 기여하는 정도를 정량화한다.
• 두드러진 개념은 |I(S)| 값이 큰 픽셀 부분집합 S로 식별되며, 부차적인 개념은 |I(S)| 값이 무시할 만큼 작은 경우로 간주된다.
• 상호작용 기울기 기반으로 톤, 채도, 밝기 및 선명도를 조정하는 스무스하고 비적대적(비적대성)인 연산을 적용하여 이미지 수정을 수행한다.
• 손실 함수는 ImageNet에서 사전 훈련된 ResNet-18을 사용하여, 수정 과정에서 두드러진 특징 강화와 부차적 특징 감소를 유도한다.
• 전경 및 배경 영역은 객체 바운딩 박스를 사용하여 분리하여 흐림/날카러움 점수의 확률 분포를 계산한다.
• 상호작용 계산에서 수용장역 크기 r을 변화시킴으로써 소규모(로컬) 및 대규모(글로벌) 상호작용을 구분한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 활성화에서 고영향도 다변량 상호작용을 강화하면 더 매력적인 이미지로 이어지는가?
• RQ2 특징 상호작용의 강조도에 기반한 이미지 수정은 적대적 아티팩트를 유발하지 않고도 인식된 미적 품질을 향상시킬 수 있는가?
• RQ3 소규모(로컬) 및 대규모(글로벌) 상호작용은 미적 인식에 기여하는 데 어떻게 다를까?
• RQ4 개선된 미적 판단과 관련이 있는가를 측정할 수 있는 픽셀 수준의 흐림/날카러움 변화가 존재하는가?
• RQ5 낮은 |I(S)| 값을 가진 부차적 개념을 억제하고 높은 |I(S)| 값을 가진 두드러진 개념을 강화하는 것이 인간의 미적 선호와 얼마나 일치하는가?

주요 결과

• 소규모 개념(0.1n ≤ r_small ≤ 0.2n)에 대한 처벌 조치는 전경 객체의 날카러움 증가와 배경의 흐림 증가를 유도하였으며, 이는 일반적인 사진 촬영 미적 원칙과 일치하였다.
• 대규모 개념(0.8n ≤ r_large ≤ 0.9n)에 대한 처벌 조치는 반대 효과를 보였는데, 배경은 날카러지고 전경은 흐려졌다. 이는 국소적 및 전반적 맥락이 서로 다른 역할을 한다는 것을 시사한다.
• 음수 Δ_pixel(흐림)를 가진 픽셀에 대해 P(F|Δ_pixel) > 0.5를 기록하여, 소규모 상호작용이 처벌될 경우 전경에서 흐림이 더 높은 확률로 발생함을 확인하였다.
• 수정된 이미지는 원본보다 더 매력적으로 인식되었으며, 이는 신경 표현에서 두드러진 특징 강화와 부차적 특징 억제가 미적 품질과 관련이 있음을 지지하는 결과이다.
• 이 방법은 스무스하고 비적대적 이미지 변환을 사용함으로써 분포 외 아티팩트를 효과적으로 방지하였다.
• 네트워크 기여도를 다변량 상호작용 항목 I(S)로 분해한 결과, 분류 신뢰도에 영향을 미치는 픽셀 그룹의 비율은 매우 희소한 부분집합에 국한됨을 확인하였다.