[논문 리뷰] Computational Ceramicology

Barak Itkin, Lior Wolf외 1명|arXiv (Cornell University)|2019. 11. 22.

Image Processing and 3D Reconstruction참고 문헌 46인용 수 6

한 줄 요약

이 논문은 형태와 장식 특징을 모두 활용하는 딥러닝 프레임워크를 제안하여 데이터 부족과 클래스 불균형 문제를 해결한다. 합성 데이터 생성과 새로운 재가중 손실 함수를 통해 성능을 햖थ한다. 실제 테스트 세트에서 높은 정확도를 달성하며 다양한 데이터셋에 걸쳐 강건성과 일반화 능력을 입증한다.

ABSTRACT

Field archeologists are called upon to identify potsherds, for which purpose they rely on their experience and on reference works. We have developed two complementary machine-learning tools to propose identifications based on images captured on site. One method relies on the shape of the fracture outline of a sherd; the other is based on decorative features. For the outline-identification tool, a novel deep-learning architecture was employed, one that integrates shape information from points along the inner and outer surfaces. The decoration classifier is based on relatively standard architectures used in image recognition. In both cases, training the classifiers required tackling challenges that arise when working with real-world archeological data: paucity of labeled data; extreme imbalance between instances of the different categories; and the need to avoid neglecting rare classes and to take note of minute distinguishing features of some classes. The scarcity of training data was overcome by using synthetically-produced virtual potsherds and by employing multiple data-augmentation techniques. A novel form of training loss allowed us to overcome the problems caused by under-populated classes and non-homogeneous distribution of discriminative features.

연구 동기 및 목표

• 현장에서 촬영한 이미지만을 사용하여 현장의 고고학자들이 조각토기를 식별하는 데 도움이 되는 AI 기반 도구를 개발하는 것.
• 특히 희귀하거나 수가 적은 유형에 대해 실제 레이블이 부족한 데이터로 인해 발생하는 토기 분류 문제를 해결하는 것.
• 극심한 클래스 불균형, 노이즈가 많은 데이터, 깨진 조각으로 인한 부분적 또는 열악한 시각 정보가 존재하는 상황에서도 분류 정확도를 향상시키는 것.
• 다양한 고고학적 데이터셋과 실제 현장 조건에서 잘 작동하는 강건하고 일반화 능력이 뛰어난 시스템을 구축하는 것.
• 현장 고고학자들이 순위 매기고 신뢰도를 고려한 유형 예측을 지원하는 실시간 동작 가능한 모바일 애플리케이션을 구현하는 것.

제안 방법

• 내부 및 외부 균열 윤곽을 통합하여 토기 형태를 분류하는 새로운 딥러닝 아키텍처인 OutlineNet은 기하학적 맥락을 유지하기 위해 고유한 점 순서 인식 표현 방식을 사용한다.
• 합성 토기 조각은 2차원 용기 윤곽을 3차원으로 회전시켜 생성하고, 무작위로 파손을 시뮬레이션함으로써 전체 3차원 재구성 없이도 대규모 데이터 증강을 가능하게 한다.
• 새로운 학습 손실 함수인 CareLoss는 오분류 오차와 가짜 양성 비율을 기반으로 샘플을 재가중하여 희귀하거나 구분하기 어려운 클래스에서의 성능을 향상시킨다.
• 장식 기반 분류를 위해, 다양한 조명 조건이 존재하는 소규모 실제 고고학 데이터셋에 대해 미리 학습된 CNN을 파인튜닝하여 전이 학습을 적용한다.
• 기하학적 변형과 색상 왜곡을 포함한 데이터 증강 기법을 사용하여 실제 이미지의 다양성에 대한 강건성을 향상시킨다.
• 시스템은 모바일 기기에서 이미지를 처리하며, 반자동으로 윤곽을 추출하고 기준 체재를 사용해 스케일을 추정함으로써 현장에서 실시간 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실제 학습 데이터가 극도로 부족한 상황에서, 2차원 균열 윤곽을 기반으로 한 딥러닝 모델이 토기 유형을 높은 정확도로 분류할 수 있는가?
• RQ2 극심한 클래스 불균형 상황에서도 희귀하거나 수가 적은 토기 유형에 대해 성능을 유지할 수 있는 모델은 어떻게 학습시킬 수 있는가?
• RQ3 합성 데이터 생성 및 도메인 적응 기법을 통해 시뮬레이션된 이미지와 실제 고고학적 이미지 간의 현실 격차를 어느 정도 메울 수 있는가?
• RQ4 통합된 딥러닝 파이프라인은 현장 조건에서 형태와 장식 특징을 효과적으로 융합하여 식별 정확도를 향상시킬 수 있는가?
• RQ5 다양한 고고학적 데이터셋(다양한 데이터 품질과 레이블 일관성)에서 모델의 성능은 어떻게 평가되는가?

주요 결과

• OutlineNet 모델은 실제 테스트 세트인 TSI에서 상위 1 정확도 73.7%를 기록했으며, 상위 10 정확도는 81.3%에 도달하여 강력한 일반화 능력을 입증했다.
• TSH 데이터셋에서는 상위 1 정확도 78.6%, 상위 10 정확도 68.1%를 기록하여 새로운, 알려지지 않은 데이터셋에 대한 강건성을 보였다.
• TSSG 데이터셋에서는 성능이 낮았지만(상위 1 정확도 57.7%), 결과는 안정적이고 일관되었으며, 이는 모델 실패보다는 미세한 레이블링 문제일 가능성이 높다.
• 장식 분류기는 모바일 기기에서 55.2%의 상위 1 정확도, 데스크톱에서는 51.0%를 기록했으며, 다양한 조명 조건에서도 성능 저하가 없었다.
• CareLoss 재가중 기법은 희귀 클래스에서의 성능을 크게 향상시켜 주로 우세한 유형에 편향되는 모델의 위험을 줄였다.
• 시스템은 모바일 애플리케이션의 일부로 현장에 성공적으로 구현되었으며, 소스 코드와 모델은 향후 공개될 예정이다.