[論文レビュー] Complexity of Representation and Inference in Compositional Models with Part Sharing

Alan Yuille, Roozbeh Mottaghi|arXiv (Cornell University)|Jan 16, 2013

Neural Networks and Applications参考文献 30被引用数 3

ひとこと要約

本稿は、部品共有を伴う構成的モデルの計算複雑性を分析し、辞書サイズが階層レベルとともに指数関数的に増加する場合、シリアルコンピュータでは線形時間の推論が可能であることを示している。また、辞書サイズが階層レベルとともに指数関数的に減少する場合、並列コンピュータでは指数関数的に多数のノードを用いて線形時間の推論が可能である。モデルは階層的辞書とエグゼクティブ・サマリー原理を用いて、表現コストと推論コストを低減する。

ABSTRACT

This paper describes serial and parallel compositional models of multiple objects with part sharing. Objects are built by part-subpart compositions and expressed in terms of a hierarchical dictionary of object parts. These parts are represented on lattices of decreasing sizes which yield an executive summary description. We describe inference and learning algorithms for these models. We analyze the complexity of this model in terms of computation time (for serial computers) and numbers of nodes (e.g., "neurons") for parallel computers. In particular, we compute the complexity gains by part sharing and its dependence on how the dictionary scales with the level of the hierarchy. We explore three regimes of scaling behavior where the dictionary size (i) increases exponentially with the level, (ii) is determined by an unsupervised compositional learning algorithm applied to real data, (iii) decreases exponentially with scale. This analysis shows that in some regimes the use of shared parts enables algorithms which can perform inference in time linear in the number of levels for an exponential number of objects. In other regimes part sharing has little advantage for serial computers but can give linear processing on parallel computers.

研究の動機と目的

• シリアルおよび並列コンputング環境における部品共有を伴う構成的モデルの計算複雑性を分析すること。
• 階層レベルにわたる辞書のスケーリングが推論効率と表現コストに与える影響を調査すること。
• オブジェクト認識における計算負荷の低減に寄与する部品共有とエグゼクティブ・サマリー原理の利点を評価すること。
• これらの複雑性結果が、特に皮質構造に関連して、生物学的および人工視覚システムに与える影響を検討すること。

提案手法

• Hレベルにわたる再帰的な部品-部分構成を伴う階層的グラフィカル確率モデルを用いて、構成的モデルを定式化する。
• 各レベルhにおける部品を辞書M_hで表現し、高レベルのオブジェクトを低レベルの部品を共有して構築する。
• エグゼクティブ・サマリー原理を適用し、部分の状態に基づいて部品の状態を粗く表現することで、計算負荷を低減する。
• 規則的な格子上にモデルを再定式化し、ディープベリーフネットワークとの比較を可能にするとともに、並列実装を支援する。
• 辞書サイズのスケーリングに関する数学的分析を用いて、計算時間（シリアル）およびノード数（並列）の観点から複雑性を分析する。
• 3つのスケーリング制度を検討する：辞書サイズが指数関数的に増加する場合、実データに対する教師なし学習に基づく場合、および指数関数的に減少する場合。

実験結果

リサーチクエスチョン

• RQ1 部品共有は、シリアルアーキテクチャと並列アーキテクチャの両方において、推論時間にどのように影響を与えるか？
• RQ2 階層レベルにわたる辞書サイズのスケーリングが、計算複雑性に与える影響は何か？
• RQ3 どのような条件下で部品共有が推論の複雑性に顕著な改善をもたらすか？
• RQ4 エグゼクティブ・サマリー原理は、構成的モデルにおける表現コストと推論コストをどのように低減するか？
• RQ5 これらの複雑性結果は、特にV1/V2とIT領域の違いに関連して、視覚皮質構造のモデリングにどのような示唆を与えるか？

主な発見

• 辞書サイズが階層レベルとともに指数関数的に増加する場合（|M_h| = a/q^h）、部品共有により、オブジェクト数が指数関数的に増加しても、レベル数Hに比例する線形時間での推論が可能になる。
• 実データに対する教師なし学習に基づく辞書サイズの決定を行う状況では、部品共有がシリアル推論において顕著な複雑性の改善をもたらす。
• 辞書サイズが階層レベルとともに指数関数的に減少する場合（|M_h| = r^{H-h}）、シリアルコンピュータでは部品共有に利点がないが、並列コンピュータでは指数関数的に多数のノードを用いて線形時間の推論が可能になる。
• エグゼクティブ・サマリー原理により、部分の状態に基づいて部品の状態を粗く表現できるため、推論中に高分解能の詳細を必要としなくなる。
• 結果から、V1やV2のような大規模な視覚領域が、低レベル特徴の高容量辞書として機能している可能性が示唆され、皮質内でのそれらの顕著なサイズの大きさを説明できる。
• 並列推論アルゴリズムは、下位から上位への処理に加え、上位からの文脈の解釈を行うプロセスに類似しており、視覚認識の神経生物学的モデルと整合する。