[논문 리뷰] Computational Approaches for Traditional Chinese Painting: From the "Six Principles of Painting" Perspective

Wei Zhang, Jianwei Zhang외 5명|arXiv (Cornell University)|2023. 07. 26.

Aesthetic Perception and AnalysisNeuroscience참고 문헌 106인용 수 3

한 줄 요약

이 논문은 전통 중국화(TCP)에 대한 계산적 방법을 분석하기 위해 '화공육법(六法)'을 이론적 프레임워크로 사용하여 체계적인 문헌 고찰을 제시한다. 네 단계로 구성된 응용 프레임워크를 제안하고, 작업, 특징, 渲染 방식 기준으로 기법을 분류하며, 데이터 연결 부족, 고급 머신러닝의 미사용, AI 생성 예술 품질의 열악함 등 핵심 연구 격차를 밝혀내어 디지털 인문학 및 문화유산 컴퓨팅 분야의 향후 연구 방향을 제시한다.

ABSTRACT

Traditional Chinese Painting (TCP) is an invaluable cultural heritage resource and a unique visual art style. In recent years, increasing interest has been placed on digitalizing TCPs to preserve and revive the culture. The resulting digital copies have enabled the advancement of computational methods for structured and systematic understanding of TCPs. To explore this topic, we conducted an in-depth analysis of 92 pieces of literature. We examined the current use of computer technologies on TCPs from three perspectives, based on numerous conversations with specialists. First, in light of the "Six Principles of Painting" theory, we categorized the articles according to their research focus on artistic elements. Second, we created a four-stage framework to illustrate the purposes of TCP applications. Third, we summarized the popular computational techniques applied to TCPs. The framework also provides insights into potential applications and future prospects, with professional opinion. The list of surveyed publications and related information is available online at https://ca4tcp.com.

연구 동기 및 목표

• 전문 지식과 현대 컴퓨터 과학을 융합하여 전통 중국화(TCP)에 대한 체계적이고 이론 기반의 계산적 분석 부족을 보완하고자 한다.
• 화공육법을 기반으로 한 체계적 프레임워크를 통해 현재의 TCP 연구에서의 계산적 응용을 식별하고 분류하고자 한다.
• 문화유산 간 데이터 연결, 고급 머신러닝 적응, 몰입형 예술 홍보와 같은 아직 탐색되지 않은 연구 분야를 부각하고자 한다.
• 예술적 정밀도와 문화적 진정성을 강조하여, 계산 기반 TCP 연구의 포괄적이고 전문가 기반의 미래 연구 로드맵을 제공하고자 한다.

제안 방법

• 화공육법에 기반해 92篇의 문헌 자료를 분류하여 '기운과 리듬', '구도'와 같은 핵심 예술적 요소와 계산 연구를 정렬하였다.
• 계산 응용의 목적을 네 단계로 분류하는 프레임워크를 제안하였다: (1) 데이터 확보 및 디지털화, (2) 분석 및 이해, (3) 생성 및 융합, (4) 시각화 및 상호작용.
• 작업(예: 세그멘테이션, 스타일 전이), 특징(예: 붓자국, 잉크 확산), 렌더링(예: GANs, 확산 모델) 기준으로 계산 기법을 분류하였다.
• 전문가 인터뷰를 실시하여 현재의 한계를 평가하고, 특히 다중 모odal 데이터 통합 및 대규모 모델 적응 분야의 향후 연구 방향을 도출하였다.
• 컴퓨터 비전 및 딥러닝 응용 분야에서의 도메인 특화 과제를 부각시키기 위해 TCP와 유화 간 비교 분석을 수행하였다.
• 조사된 문헌과 프레임워크 구성 요소를 시각화하고 액세스할 수 있도록 https://ca4tcp.com 에 상호작용식 지식 기반을 제공하였다.

실험 결과

연구 질문

• RQ1 화공육법은 현대적 프레임워크로서 전통 중국화에 대한 계산적 연구를 체계적으로 분류하기 위해 어떻게 적응될 수 있는가?
• RQ2 현재 TCP 연구에서 주로 사용되는 계산 기법은 무엇이며, 붓자국, 구도, 기운과 같은 예술적 요소와 어떻게 부합하는가?
• RQ3 현재 계산적 접근 방식에서의 주요 한계는 무엇인가? 특히 데이터 부족, 모델 일반화 능력 부족, 예술적 진정성 결여 문제에 대해 설명하라.
• RQ4 다중 모달 데이터 통합과 고급 머신러닝(예: 소수 샘플 학습, 대규모 시각 모델)은 TCP의 분석 및 생성을 어떻게 향상시킬 수 있는가?
• RQ5 몰입형 기술(예: AR/VR)과 예술가 참여형 시스템은 TCP의 창작, 전시, 대중 참여를 어떻게 향상시킬 수 있는가?

주요 결과

• 조사한 92편의 논문 중 '위치와 배치' 요소를 다룬 논문은 단 4편에 불과하여, 구성 분석 분야에서 심각한 연구 격차가 있음을 시사한다.
• 현재 AI로 생성된 TCP는 자연스러운 붓자국을 재현하지 못하고 시각적 요소의 배치를 잘못하여, 전통적인 구성 규칙에 대한 충실도가 떨어지는 것으로 나타났다.
• GANs와 확산 모델의 발전에도 불구하고, 대부분의 대규모 모델(예: CLIP, Stable Diffusion)은 화공육법을 고려하지 않아 예술적 본질이 결여된 출력을 생성하고 있다.
• 전통 중국화를 고대 문헌, 건축 등 다른 문화유산 데이터와 통합한 연구는 극히 소수에 그쳐 종합적인 역사적·맥락적 이해가 제한되어 있다.
• 표준화된 학습, 도메인 적응, 소수 샘플 학습의 활용은 아직 미흡한 편이지만, 주석 작업 부담을 줄일 잠재력은 크다.
• 몰입형 기술(AR/VR)과 다중 모달 모델의 조합은 대중 참여 및 예술적 스토리텔링 향상 측면에서 큰 잠재력을 지닌다.