[論文レビュー] WHOSe Heritage: Classification of UNESCO World Heritage "Outstanding Universal Value" Documents with Smoothed Labels.

Nan Bai, Renqian Luo+2 more|arXiv (Cornell University)|Apr 12, 2021

Cultural Heritage Management and Preservation参考文献 53被引用数 1

ひとこと要約

本研究では、BERTおよびULMFiTモデルを用いて、UNESCO世界遺産の「世界的に顕著な価値」（OUV）の根拠文書を分類する、スムージングされたラベルを用いたNLPアプローチを提案する。94.3%のトップ3正解率を達成した。ラベルに事前知識としてのクラス間関係を統合することで、スケーラブルで説明可能かつバイアスの少ない自動化を実現し、遺産の推薦および監視に貢献する。

ABSTRACT

The UNESCO World Heritage List (WHL) is to identify the exceptionally valuable cultural and natural heritage to be preserved for mankind as a whole. Evaluating and justifying the Outstanding Universal Value (OUV) of each nomination in WHL is essentially important for a property to be inscribed, and yet a complex task even for experts since the criteria are not mutually exclusive. Furthermore, manual annotation of heritage values, which is currently dominant in the field, is knowledge-demanding and time-consuming, impeding systematic analysis of such authoritative documents in terms of their implications on heritage management. This study applies state-of-the-art NLP models to build a classifier on a new real-world dataset containing official OUV justification statements, seeking an explainable, scalable, and less biased automation tool to facilitate the nomination, evaluation, and monitoring processes of World Heritage properties. Label smoothing is innovatively adapted to transform the task smoothly between multi-class and multi-label classification by adding prior inter-class relationship knowledge into the labels, improving the performance of most baselines. The study shows that the best models fine-tuned from BERT and ULMFiT can reach 94.3% top-3 accuracy, which is promising to be further developed and applied in heritage research and practice.

研究の動機と目的

• UNESCO世界遺産の『世界的に顕著な価値』（OUV）の根拠文書の評価における複雑さと主観性に対処すること。
• NLPを用いた分類による自動化により、OUV文書のアノテーションに要する時間と専門知識を削減すること。
• ラベルスムージングを用いてクラス間関係の事前知識をラベルに統合することで、分類性能を向上させること。
• 推薦、評価、長期的監視を支援するスケーラブルで説明可能かつバイアスの少ないツールの開発。
• 系統的な遺産研究のための実世界のデータセットとして、公式のOUV根拠文書を収集・公開すること。

提案手法

• 本研究では、分類を目的とした、公式のUNESCO OUV根拠文書から構成される実世界の新しいデータセットを構築した。
• BERTおよびULMFiTを含む最先端のNLPモデルを用い、OUVデータセット上で微調整することで、多クラスおよびマルチラベル分類を実施した。
• ラベルスムージングを画期的に応用し、クラス間関係の事前知識をラベルに埋め込むことで、多クラス学習とマルチラベル学習の間を滑らかに遷移可能にした。
• ラベル分布を緩和することで予測の過信を軽減し、モデルの一般化性能と性能を向上させた。
• 複雑で重複するOUV基準を対象とした分類効果を評価する主な指標として、トップ3正解率を用いた。
• BERTベースのモデルにおけるアテンションメカニズムとアテンション可視化を活用することで、説明可能なAI出力を支援した。

実験結果

リサーチクエスチョン

• RQ1 ラベルスムージングは、UNESCO世界遺産のOUV根拠文書の分類におけるNLPモデルの性能を向上させ得るか？
• RQ2 微調整されたBERTおよびULMFiTモデルは、多クラスおよびマルチラベルOUV基準の分類において、どの程度高い正解率を達成できるか？
• RQ3 ラベルに事前知識としてのクラス間関係を統合することで、遺産文書分類におけるモデルの一般化性能と公平性にどのような影響を与えるか？
• RQ4 自動化され、説明可能なNLPシステムは、OUV根拠文書の手作業による専門家主導のアノテーションへの依存を軽減できるか？
• RQ5 提案されたモデルは、大規模な遺産監視および政策支援に向けたスケーラビリティと移植性を有しているか？

主な発見

• ラベルスムージングを適用したBERTから微調整された最良のモデルは、OUV分類タスクで94.3%のトップ3正解率を達成した。
• ラベルスムージングは、クラス間関係の事前知識を統合することで、大多数のベースラインモデルの性能を顕著に向上させた。
• 微調整されたULMFiTモデルも強力な性能を示し、遺産NLPアプリケーションへの実用性を示した。
• 提案手法により、OUV文書のスケーラブルでバイアスの少ない分類が可能となり、時間のかかる手作業によるアノテーションへの依存が軽減された。
• 結果から、モデルを現実の遺産管理、推薦、監視ワークフローに実装する強力な可能性が示された。
• 本研究では、高精度で複雑かつ多面的な文化的遺産評価タスクにNLPを効果的に適応できることが明確に示された。