[論文レビュー] Computational Approaches for Traditional Chinese Painting: From the "Six Principles of Painting" Perspective

Wei Zhang, Jianwei Zhang+5 more|arXiv (Cornell University)|Jul 26, 2023

Aesthetic Perception and AnalysisNeuroscience参考文献 106被引用数 3

ひとこと要約

本論文は、『六法』を理論的枠組みとして用い、伝統的中国画（TCP）の計算手法について体系的レビューを提示する。四段階の応用フレームワークを提案し、タスク、特徴、レンダリングの観点から技術を分類し、データ連携不足、高度な機械学習の未活用、AI生成における芸術的品質の低さといった主な研究ギャップを特定。デジタル・ヒューマニティーズおよび文化的遺産コンピューティング分野における今後の研究の方向性を提示する。

ABSTRACT

Traditional Chinese Painting (TCP) is an invaluable cultural heritage resource and a unique visual art style. In recent years, increasing interest has been placed on digitalizing TCPs to preserve and revive the culture. The resulting digital copies have enabled the advancement of computational methods for structured and systematic understanding of TCPs. To explore this topic, we conducted an in-depth analysis of 92 pieces of literature. We examined the current use of computer technologies on TCPs from three perspectives, based on numerous conversations with specialists. First, in light of the "Six Principles of Painting" theory, we categorized the articles according to their research focus on artistic elements. Second, we created a four-stage framework to illustrate the purposes of TCP applications. Third, we summarized the popular computational techniques applied to TCPs. The framework also provides insights into potential applications and future prospects, with professional opinion. The list of surveyed publications and related information is available online at https://ca4tcp.com.

研究の動機と目的

• 伝統的中国画（TCP）の計算的分析において、理論的根拠に基づく体系的かつ包括的な研究が不足している現状を是正するため、専門知識と現代のコンピュータサイエンスを統合すること。
• 『六法』に基づく構造的枠組みを用いて、現在のTCP研究における計算的応用を特定・分類すること。
• 文化的遺産間のデータ連携、高度な機械学習の適応、インマーシブな芸術的プロモーションといった未開拓の研究分野を浮き彫りにすること。
• 芸術的忠実性と文化的真正性を重視し、計算的TCP分野における今後の研究を包括的かつ専門家によるインサイトに基づいてロードマップ化すること。

提案手法

• 『六法』に基づき、92件の文献を分類し、『気韻生动』や『構図』といったコアな芸術的要素と計算的研究を一致させる。
• 四段階のフレームワークを提案して、TCPにおける計算的応用の目的を分類：(1) データ収集とデジタル化、(2) 分析と理解、(3) 生成と統合、(4) 表示とインタラクション。
• タスク（例：セグメンテーション、スタイル転送）、特徴（例：筆致、インク拡散）、レンダリング（例：GAN、拡散モデル）の観点から計算的手法を分類。
• 専門家インタビューを実施し、現在の制限要因を評価し、特にマルチモーダルデータ統合や大規模モデルの適応分野における今後の研究方向を同定。
• 油絵と比較して、コンピュータビジョンおよびディープラーニング応用におけるドメイン特有の課題を浮き彫りにする。
• https://ca4tcp.com にインタラクティブな知識ベースを提供し、調査された文献およびフレームワークの構成要素を可視化・アクセス可能にする。

実験結果

リサーチクエスチョン

• RQ1 『六法』を現代のフレームワークとしてどのように再構築すれば、伝統的中国画（TCP）の計算的研究を体系的に分類できるか？
• RQ2 現在のTCP研究で主に用いられている計算的手法は何か？ また、筆致、構図、気韻といった芸術的要素とどのように整合しているか？
• RQ3 現在のTCPにおける計算的アプローチの主な制限要因は何か？ 特にデータ不足、モデルの一般化能力、芸術的真正性の欠如について。
• RQ4 マルチモーダルデータ統合および高度な機械学習（例：フェイシュット学習、大規模ビジョンモデル）は、TCPの分析および生成をどのように向上させ得るか？
• RQ5 インマーシブ技術（例：AR/VR）およびアーティスト・イン・ザ・ループシステムは、TCPの創作、提示、一般参加をどのように促進できるか？

主な発見

• 調査した92件の論文のうち、六法の「位置と配置」に言及しているのはわずか4件にとどまり、構図的分析分野における顕著な研究ギャップが示された。
• 現在のAIによるTCP生成は、自然な筆致を再現できず、視覚的要素の配置が不適切であることが多く、伝統的な構図ルールへの忠実性に欠ける。
• GANや拡散モデルの進展にもかかわらず、多くの大規模モデル（例：CLIP、Stable Diffusion）は六法を考慮していないため、芸術的本質を欠いた出力が生じている。
• 多くの研究が、古代文書や建築といった他の文化的遺産データとTCPを統合していないため、包括的で文脈に即した歴史的理解が制限されている。
• トランスファー学習、ドメイン適応、フェイシュット学習の活用は、アノテーションの負担を軽減する可能性を秘めているものの、現状では未だ未開拓に近い。
• インマーシブ技術（AR/VR）とマルチモーダルモデルを組み合わせることで、TCPにおける一般参加の促進や芸術的ストーリーテリングの向上に大きな可能性が示されている。