[論文レビュー] Computational Ceramicology

Barak Itkin, Lior Wolf+1 more|arXiv (Cornell University)|Nov 22, 2019

Image Processing and 3D Reconstruction参考文献 46被引用数 6

ひとこと要約

本論文では、形状および装飾的特徴を併用した深層学習フレームワークを提示し、合成データ生成と新たな再重み付け損失を用いてデータ不足とクラス不均衡の課題を克服する。実世界のテストデータセットにおいて高い精度を達成し、多様なデータセットにわたる頑健性と一般化性能を示した。

ABSTRACT

Field archeologists are called upon to identify potsherds, for which purpose they rely on their experience and on reference works. We have developed two complementary machine-learning tools to propose identifications based on images captured on site. One method relies on the shape of the fracture outline of a sherd; the other is based on decorative features. For the outline-identification tool, a novel deep-learning architecture was employed, one that integrates shape information from points along the inner and outer surfaces. The decoration classifier is based on relatively standard architectures used in image recognition. In both cases, training the classifiers required tackling challenges that arise when working with real-world archeological data: paucity of labeled data; extreme imbalance between instances of the different categories; and the need to avoid neglecting rare classes and to take note of minute distinguishing features of some classes. The scarcity of training data was overcome by using synthetically-produced virtual potsherds and by employing multiple data-augmentation techniques. A novel form of training loss allowed us to overcome the problems caused by under-populated classes and non-homogeneous distribution of discriminative features.

研究の動機と目的

• 現場で撮影された画像のみを用いて、現場の考古学研究者を支援するAI駆動の土器破片同定ツールを開発すること。
• とくにレアまたは代表されないタイプの土器分類に向けた、実世界のラベル付きデータが極めて限られている課題に対処すること。
• 極度のクラス不均衡、ノイズの多いデータ、破損した破片による部分的または劣化した視覚的情報にもかかわらず、分類精度を向上させること。
• 多様な考古学的データセットおよび現実世界の条件においても良好に機能する、頑健で一般化可能なシステムを構築すること。
• 現場の考古学研究者にランク付きで信頼性を伴ったタイプ予測を提供する実用的なモバイルアプリケーションをデプロイすること。

提案手法

• 内側および外側の破断断面の輪郭を統合する新しい深層学習アーキテクチャ、OutlineNetは、幾何的文脈を保持するための独自の順序に依存する表現を用いて、土器の形状を分類する。
• 合成土器破片は、2次元の器形断面を3次元に回転させ、ランダムな破壊をシミュレートすることで生成され、完全な3次元再構成を必要とせず大規模なデータ拡張が可能になる。
• 新しいトレーニング損失関数であるCareLossは、誤分類誤差と偽陽性率に基づいてサンプルを再重み付けし、レアクラスや識別が難しいクラスの性能を向上させる。
• 装飾に基づく分類には、多様な照明条件を含む小規模な実世界の考古学的データセット上で微調整された事前学習済みのCNNを用いたトランスファー学習が適用される。
• 幾何変換や色のジャマリングを含むデータ拡張技術が、現実世界の画像変動に対する頑健性を高めるために用いられる。
• システムはモバイルデバイス上で画像を処理し、輪郭を準自動で抽出し、基準定規を用いてスケールを推定することで、現場で即時の推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 実際のトレーニングデータが極めて限られている状況下で、2次元の破断断面の輪郭からの土器タイプ分類において、深層学習モデルが高い精度を達成できるか。
• RQ2 極度のクラス不均衡がある中で、レアまたは代表されない土器クラスの性能を維持できるように、モデルをどのようにトレーニングできるか。
• RQ3 合成データ生成とドメイン適応技術により、シミュレートされた画像と現実世界の考古学的画像との間の「現実ギャップ」をどの程度埋められるか。
• RQ4 統合された深層学習パイプラインは、現場環境における同定精度の向上を実現するために、形状と装飾の特徴を効果的に統合できるか。
• RQ5 データ品質やラベル付けの整合性にばらつきがある多様な考古学的データセットにおいて、モデルの性能はどの程度維持されるか。

主な発見

• OutlineNetモデルは、実世界のTSIテストセットでトップ1精度73.7％を達成し、トップ10精度は81.3％に達し、優れた一般化性能を示した。
• TSHデータセットでは、トップ1精度78.6％、トップ10精度68.1％を達成し、新規で未観測のデータセットに対しても頑健であることが示された。
• TSSGデータセットでは、低い性能（トップ1精度57.7％）を示したが、結果は安定的かつ一貫的であり、モデルの失敗ではなく、わずかなラベル付けの問題が原因であると示唆された。
• 装飾分類器は、モバイルデバイスでトップ1精度55.2％、デスクトップで51.0％を達成し、照明条件の変化に対しても顕著な性能低下が見られなかった。
• CareLossによる再重み付け手法は、支配的タイプに偏向するリスクを著しく低減させ、レアクラスの性能を顕著に向上させた。
• 本システムは、モバイルアプリケーションとして現場で正常にデプロイされ、ソースコードおよびモデルは公開予定である。