[論文レビュー] Augment with Care: Contrastive Learning for Combinatorial Problems

Haonan Duan, Pashootan Vaezipoor+3 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、組合せ問題、特にブール充足可能性問題（SAT）に対して、ラベルを保持するデータ拡張を用いた対照的自己教師あり学習を提案する。変数の削除や節の解消といったよく知られた不変量を活用して充足可能性を保持する拡張を生成することで、ラベルの1%のみを用いても完全に教師あり学習と同等の性能を達成し、未学習の問題領域への一般化能力も優れている。

ABSTRACT

Supervised learning can improve the design of state-of-the-art solvers for combinatorial problems, but labelling large numbers of combinatorial instances is often impractical due to exponential worst-case complexity. Inspired by the recent success of contrastive pre-training for images, we conduct a scientific study of the effect of augmentation design on contrastive pre-training for the Boolean satisfiability problem. While typical graph contrastive pre-training uses label-agnostic augmentations, our key insight is that many combinatorial problems have well-studied invariances, which allow for the design of label-preserving augmentations. We find that label-preserving augmentations are critical for the success of contrastive pre-training. We show that our representations are able to achieve comparable test accuracy to fully-supervised learning while using only 1% of the labels. We also demonstrate that our representations are more transferable to larger problems from unseen domains. Our code is available at https://github.com/h4duan/contrastive-sat.

研究の動機と目的

• SATのような大規模な組合せ問題のラベル付けにかかる高コストに対処する。これらはNP完全であり、スケールで解くには現実的でない。
• 対照的事前学習が、組合せ最適化における高価なラベルに依存するのを軽減できるかどうかを調査する。
• 特にラベルを保持する拡張とラベルに依存しない拡張の違いが、下流の性能に与える影響を評価する。
• 自己教師あり表現が、教師あり表現よりもドメインを越えて一般化する能力に優れているかどうかを検討する。
• 組合せ問題における既知の不変量を活用することで、低データでも効果的な表現学習が可能であることを示す。

提案手法

• 本手法は、各SATインスタンスを充足可能性を保持する変換（例：変数の削除、節の解消）によって拡張する対照的学習フレームワークを採用する。
• これらの変換をCNF形式のSAT式にランダムに適用し、充足可能性の状態を保持するように拡張を生成する。
• グラフニューラルネットワーク（GNN）エンコーダーが、各拡張された式のリテラル-節インシデントグラフ（LIG⁺）を処理し、ノードレベルの埋め込みを生成する。
• 対照的目的関数は、同一インスタンスの異なる拡張同士の表現の一致を最大化し、異なるインスタンス間の一致を最小化する。
• 下流の線形予測器を、凍結されたエンコーダー特徴量上で学習させ、SAT/UNSATの分類を実行することで表現品質を評価する。
• 低ショットおよびゼロショットの転移設定下で、教師ありベースラインおよび標準的なグラフ拡張と比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張の設計が、組合せ問題における対照的事前学習の性能に顕著な影響を与えるか？
• RQ2 ラベルを保持する拡張が、大幅に少ないラベルで完全に教師あり学習の性能に匹敵または上回る表現を生み出せるか？
• RQ3 自己教師あり表現の転移性は、異なる問題ドメイン間で教師あり表現と比べて優れているか？
• RQ4 既知の不変量（例：節の解消）に基づく拡張は、標準的なグラフレベルの拡張（例：ノードドロップ、特徴量マスキング）よりも効果的か？
• RQ5 対照的事前学習は、ソースドメインのラベルへの過学習を軽減し、未学習の問題タイプへの一般化を向上させるか？

主な発見

• 提案手法は、ラベルの1%のみを用いても、最良の完全に教師ありベースラインと同等のテスト精度を達成した。
• ラベルを保持する拡張、特に節の解消に基づくものが必要不可欠であり、標準的なグラフ拡張（例：ノードドロップ）では有意義な改善が得られなかった。
• すべてのデータセットで、低ラベル環境下での優れた性能から、サンプルの複雑さが少なくとも100倍以上低減したことが示された。
• 自己教師あり表現は、教師あり表現よりも未学習の問題ドメインへの転移が著しく優れており、特に合成データから産業界データ、またはその逆への移行で顕著だった。
• 合成生成器（SR, PR）で事前学習したモデルは、産業系データ（DP, PS）への転移が、逆方向（DP, PS → SR, PR）よりも優れていた。これは、豊富な不変量を持つ合成データがより汎用的な表現を生成することを示唆している。
• ソースドメインとターゲットドメインがより異なる場合、転移性能が高かった。これは、自己教師あり学習がソース固有のパターンへの過学習を軽減していることを示している。