[논문 리뷰] Historical and Modern Features for Buddha Statue Classification

Benjamin Renoust, Matheus Oliveira Franca외 8명|arXiv (Cornell University)|2019. 09. 17.

Aesthetic Perception and Analysis참고 문헌 35인용 수 5

한 줄 요약

이 논문은 불상 얼굴에서 역사적 건축 규칙(인도미트릭 가이드라인)을 자동으로 복원하고, 이를 현대 딥러닝 특징과 분류 작업에서 비교한다. 7,000장의 중간 규모 데이터셋을 사용하여, 현대 특징(예: ResNet50)이 정확도에서 인도미트릭을 능가하지만, 후자는 더 뛰어난 해석 가능성과 임베딩 공간 내 의미 있는 스타일 클러스터를 드러낸다는 것을 보여준다.

ABSTRACT

While Buddhism has spread along the Silk Roads, many pieces of art have been displaced. Only a few experts may identify these works, subjectively to their experience. The construction of Buddha statues was taught through the definition of canon rules, but the applications of those rules greatly varies across time and space. Automatic art analysis aims at supporting these challenges. We propose to automatically recover the proportions induced by the construction guidelines, in order to use them and compare between different deep learning features for several classification tasks, in a medium size but rich dataset of Buddha statues, collected with experts of Buddhism art history.

연구 동기 및 목표

• 기본 건축 규칙에 기반한 캐논 가이드라인을 활용한 규칙 기반 접근법을 통해 3차원 불상 사진의 얼굴에서 자동으로 특징점을 검출하여 인도미트릭 지침을 자동으로 추출하는 방법을 개발한다.
• 불상 분류 작업에서 역사적 인도미트릭 특징와 현대 딥러닝 임베딩의 성능을 비교한다.
• 다양한 딥러닝 아키텍처(예: ResNet50, VGGFace2)와 임베딩 유형(이미지 기반, 지식 그래프 기반)이 여러 분류 작업에 미치는 영향을 평가한다.
• 얼굴 영역만으로도 소재, 스타일, 제작 방법 분류에 강력한 분류자로 기능할 수 있는지 조사한다.
• 자료 확보 방법(스캔된 책 대비 3D 캡처)이 분류 성능에 미치는 영향을 평가한다.

제안 방법

• 역사적 캐논 가이드라인을 기반으로 한 규칙 기반 접근법을 사용하여 3차원 불상의 2차원 사진에서 얼굴 특징점을 자동으로 검출한다.
• 검출된 특징점에서 비율, 비율 등 인도미트릭 측정치를 추출하여 역사적 특징의 집합을 생성한다.
• 자르기 전 얼굴 영역과 전체 이미지 입력을 대상으로 다양한 딥러닝 모델(ResNet50, VGGFace2, node2vec)을 훈련 및 평가하여 분류 작업을 수행한다.
• 예술 스타일, 시대, 세기 정보를 통합한 지식 그래프(KG)를 구축하여 의미 임베딩을 생성한다.
• 다양한 임베딩 유형 간의 분류 성능를 비교한다: 인도미트릭, 이미지 기반 특징(ResNet50, VGGFace2), 지식 그래프 기반 임베딩.
• t-SNE 시각화를 통해 임베딩 공간의 구조성과 분리 가능성(특히 인도미트릭과 딥러닝 특징 간 비교)을 분석한다.

실험 결과

연구 질문

• RQ1 규칙 기반 접근법을 사용하여 2차원 불상 사진에서 자동으로 특징점을 검출함으로써 역사적 인도미트릭 지침을 신뢰성 있게 복원할 수 있는가?
• RQ2 다양한 작업에서 인도미트릭 특징의 분류 정확도는 현대 딥러닝 임베딩과 비교해 볼 때 어떻게 되는가?
• RQ3 얼굴 영역 임베딩이 전체 이미지 임베딩보다 스타일, 소재, 제작 방법 분류에서 얼마나 더 뛰어난 성능을 보이는가?
• RQ4 지식 그래프에 시간 정보(세기)를 통합할 경우, 예술 스타일의 임베딩 공간 내 분리 가능성은 어떻게 변화하는가?
• RQ5 자료 확보 방법(스캔된 책 대비 3D 캡처)이 분류 성능에 유의미한 영향을 미치는가?

주요 결과

• ResNet50가 얼굴 영역에 대해 미세조정된 경우 전체적으로 가장 높은 분류 성능를 기록하였으며, VGGFace2 및 인도미트릭 특징을 모두 능가하였다.
• ResNet50에서 유도된 얼굴 전용 임베딩은 목재 종류 및 제작 방법 분류에서 뛰어난 성능를 보였으며, 이는 얼굴이 소재와 공예 기술 분류에 강력한 분류자로 기능할 수 있음을 시사한다.
• 정확도는 낮지만, 인도미트릭 특징는 t-SNE 시각화에서 명확하고 의미 있는 클러스터를 형성하였으며, 이는 인도미트릭 특징가 본질적인 스타일 패턴을 포착하고 있음을 시사한다.
• 지식 그래프 기반 임베딩은 스타일 분류(T1)에서 이미지 기반 임베딩의 최고 성능과 유사한 성능를 보였으며, 특히 시간 정보가 포함된 경우에 더욱 뛰어났다.
• VGGFace2와 ImageNet 미리 학습된 모델 간의 성능 격차는 인간 얼굴 인식에서의 전이 학습이 정적인, 스타일화된 불상 얼굴에는 덜 효과적임을 시사한다.
• 지식 그래프에 세기 정보를 추가함으로써 예술 스타일의 분리 가능성 향상이 확인되었으며, 이는 의미 모델링에서 시간적 맥락의 가치를 확인한다.