[論文レビュー] Exploiting skeletal structure in computer vision annotation with Benders decomposition

Shaofei Wang, Konrad P. Körding+1 more|arXiv (Cornell University)|Sep 13, 2017

Machine Learning and Data Classification参考文献 24被引用数 4

ひとこと要約

本稿では、Benders分解を用いて骨格と局所的アサインメントの最適化を分離することで、多人数ポーズ推定におけるスケルタル構造を活用する新規分解手法Benders Column Generation（BCG）を提案する。純粋な列生成法と比較して、収束が速く、よりタイトな双対ギャップを達成する。コンピュータビジョン分野における複雑なILP定式化において、推論速度と解の品質が顕著に向上する。

ABSTRACT

Many annotation problems in computer vision can be phrased as integer linear programs (ILPs). The use of standard industrial solvers does not to exploit the underlying structure of such problems eg, the skeleton in pose estimation. The leveraging of the underlying structure in conjunction with industrial solvers promises increases in both speed and accuracy. Such structure can be exploited using Bender's decomposition, a technique from operations research, that solves complex ILPs or mixed integer linear programs by decomposing them into sub-problems that communicate via a master problem. The intuition is that conditioned on a small subset of the variables the solution to the remaining variables can be computed easily by taking advantage of properties of the ILP constraint matrix such as block structure. In this paper we apply Benders decomposition to a typical problem in computer vision where we have many sub-ILPs (eg, partitioning of detections, body-parts) coupled to a master ILP (eg, constructing skeletons). Dividing inference problems into a master problem and sub-problems motivates the development of a plethora of novel models, and inference approaches for the field of computer vision.

研究の動機と目的

• 多人数ポーズ推定（MPPE）における標準的なILPソルバの計算非効率性を解消すること。これは、背後に潜む骨格構造を活用していないためである。
• 人間のポーズが示す階層的かつ木構造的な性質を最適化に活用することで、推論速度と解の品質を向上させること。
• 従来の手法よりも整数変数と連続変数をより効果的に分離する分解フレームワークを開発し、収束を速くすること。
• Benders分解を用いて、強い双対ギャップ境界を維持しながら、部分問題の並列化を可能にすること。
• 部分別サブプロブレムを独立して解くことで、モノリシックな定式化に比べてスケーラビリティを向上させること。

提案手法

• MPPEの二段階定式化（TTF）を、骨格に関するマスタープロブレムと局所的アサインメントに関するサブプロブレムを持つ混合整数線形計画問題（MILP）に再定式化する。
• Benders分解を適用して、マスタープロブレム（骨格）とサブプロブレム（局所的アサインメント）を分離し、マスターソリューションに条件付けた上で各部分を独立して解く。
• 双対サブプロブレムを用いて、必要に応じてBendersカットを生成し、反復的に違反する制約をマスタープロブレムに追加する。
• 価格決定ステップ中に、動的計画法と明示的列挙を用いて、高品質な骨格と局所的アサインメントを特定する。
• 各部分別サブプロブレムの双対問題から導かれるカットを用いて、双対ベースの列生成戦略でマスタープロブレムを解く。
• 従来のBenders法とは異なり、各身体部位に固有のサブプロブレムを設ける、新規な分解を導入する。

実験結果

リサーチクエスチョン

• RQ1 Benders分解は、多人数ポーズ推定のようなコンピュータビジョン分野のアノテーション問題における骨格構造を効果的に活用できるか？
• RQ2 Benders分解を用いて骨格と局所的アサインメントの最適化を分離することで、純粋な列生成法と比較して収束が速くなり、双対ギャップがタイトになるか？
• RQ3 部分別サブプロブレムを独立して解くことができるが、強い双対性とグローバル最適性を維持できるか？
• RQ4 実世界のMPPEインスタンスにおいて、BCGは純粋な列生成法（PCG）と比較して、解の品質と計算時間の両面で優れているか？
• RQ5 Lagrangian緩和に依存せずに、Benders分解が部分問題の効率的並列化を可能にするか？

主な発見

• BCGは、688件の問題インスタンスにおける時間別正規化ギャッププロットから、純粋な列生成法（PCG）と比較して収束が速く、双対ギャップがタイトであることが示された。
• 計算時間の短縮が顕著であり、時間閾値内に完了する問題の割合がPCGよりも高かった。累積ヒストグラムからその傾向が裏付けられた。
• BCGはよりタイトな双対境界を達成し、終了時の上界と下界のギャップが小さい問題の割合が大きかった。
• 本手法は、骨格と局所的アサインメントの最適化を成功裏に分離し、独立的かつ並列化可能なサブプロブレムの解法を可能にした。
• BCG実行中にLPソルバで数値不安定性が観察されたが、PCGでは発生しなかった。これにより、分解フレームワークにおけるソルバ感受性の可能性が示唆された。
• 部分別サブプロブレムの使用により、より細分化され、効率的なカット生成が可能となり、全体の収束特性が向上した。