[論文レビュー] Structured Prediction Problem Archive

Paul Swoboda, Andres, Bjoern+7 more|arXiv (Cornell University)|Feb 4, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文は、整数線形計画法、マルコフ確率場、Multicut、離散トモグラフィーなどを含む多様な構造予測問題のためのベンチマークデータセットを一元化したリポジトリ、すなわち構造予測問題アーカイブを紹介する。標準的なソルバー向けにフォーマット化された問題インスタンス、メタデータ、既存のアルゴリズムへの参照を提供することで、機械学習における組合せ最適化分野における再現可能で比較可能な研究を促進する。

ABSTRACT

Structured prediction problems are one of the fundamental tools in machine learning. In order to facilitate algorithm development for their numerical solution, we collect in one place a large number of datasets in easy to read formats for a diverse set of problem classes. We provide archival links to datasets, description of the considered problems and problem formats, and a short summary of problem characteristics including size, number of instances etc. For reference we also give a non-exhaustive selection of algorithms proposed in the literature for their solution. We hope that this central repository will make benchmarking and comparison to established works easier. We welcome submission of interesting new datasets and algorithms for inclusion in our archive.

研究の動機と目的

• 多様な機械学習およびコンピュータビジョンの応用分野における構造予測問題のための標準的でアクセス可能なベンチマークデータセットの不足に対処すること。
• 研究間でのアルゴリズム性能比較の難易度を軽減するために、問題インスタンスを1つの明確にドキュメント化されたリポジトリに統合すること。
• 既知のフォーマットとメタデータを備えた問題インスタンスを提供することで、正確なソルバーや近似ソルバの開発と評価を支援すること。
• 複数の問題クラスからのデータセットを保存・整理することで、組合せ最適化分野における再現可能性と進歩を促進すること。
• 今後の新しいデータセットやアルゴリズムの寄稿を促進するコミュニティリソースとして機能し、長期的なベンチマーク継続性を実現すること。

提案手法

• 複数の分野から得た構造予測問題を収集し、整数線形計画法にはLPフォーマット、マルコフ確率場にはUAIフォーマットを含む標準的なファイルフォーマットに変換する。
• 各データセットには、問題のサイズ、インスタンス数、出典リファレンスなどのメタデータを付加し、体系的なベンチマーク評価を可能にする。
• Multicut、非対称マルチウェイカット、離散トモグラフィーなどを含む12の問題クラスに分類され、各クラスごとに専用のファイルフォーマット仕様が定義されている。
• コンピュータビジョンおよび機械学習分野における現実の課題を反映した問題インスタンスを提供することで、正確なソルバーや近似ソルバの両方をサポートする。
• 各問題クラスに対して、既存のソルバとの互換性を保証するためのファイルフォーマット（例：MRF やボトルネックMRF に対して拡張UAI）を定義する。
• 安全で永続的なストレージ（例：keeper.mpdl.mpg.de）にホストされたデータセットへのリンクを含め、長期的なアクセス可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 構造予測問題インスタンスの集中型で永続的なリポジトリは、アルゴリズムベンチマークにおける再現性と比較可能性をどのように向上させるか？
• RQ2 多様な応用分野における代表的な構造予測問題の主な特徴（サイズ、構造、制約）は何か？
• RQ3 標準化された問題フォーマットと共有されたデータセットは、アルゴリズム開発におけるデータセット取得および前処理の負荷をどの程度軽減できるか？
• RQ4 Multicut や離散トモグラフィー、ボトルネックMRF などの多様な問題クラスの統合は、汎用ソルバーの評価をどのように支援するか？
• RQ5 コミュニティ主導のキュレーションは、構造予測のための持続的かつ進化するベンチマークインfraの維持にどのような役割を果たすか？

主な発見

• アーカイブには、30×30の合成画像から得た3つの強度レベルと異なる投影回数を持つ2700件以上の離散トモグラフィーインスタンスに加え、'Logan'画像のより大きなインスタンスが収録されている。
• 12の問題クラスにまたがる10のベンチマークデータセットが収録されており、例としてMulticutにはCREMIとCityscapes、ボトルネックMRFにはHorizon Trackingが含まれ、各データセットには永続的URLが付与されている。
• 各問題クラスに対して、既存のソルバーやツールとの互換性を保証するための標準化されたファイルフォーマット（例：MRF やボトルネックMRF に対して拡張UAI）が提供されている。
• 15以上の既存のアルゴリズム（例：勾配降下法、バンドルソルバー、ラグランジュ分解）が文献から参照されており、直接的な比較が可能である。
• データセットは信頼性の高い永続的ストレージシステム（keeper.mpdl.mpg.de）にホストされており、直接ダウンロードリンクを通じた長期的な可用性とアクセス性が保証されている。
• 本プロジェクトにより、研究者が一貫したインスタンスセットを用いて新しいソルバーをベンチマーク可能となり、データセットのキュレーション作業が軽減され、性能比較の信頼性が向上する。