[論文レビュー] CoFL: Continuous Flow Fields for Language-Conditioned Navigation

Haokun Liu, Zhaoqi MA+5 more|arXiv (Cornell University)|Mar 3, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

CoFL は BEV 画像と言語指示を連続的な流れ場へとマッピングするエンドツーエンドのポリシーを提示し、場の積分を用いて軌道を得ることで、リアルタイムで滑らかかつ障害物を考慮したナビゲーションを実現します。 unseen scenes への強い一般化とゼロショット実 world への転送を達成します。

ABSTRACT

Language-conditioned navigation pipelines often rely on brittle modular components or costly action-sequence generation. To address these limitations, we present CoFL, an end-to-end policy that directly maps a bird's-eye view (BEV) observation and a language instruction to a continuous flow field for navigation. Instead of predicting discrete action tokens or sampling action chunks via iterative denoising, CoFL outputs instantaneous velocities that can be queried at arbitrary 2D projected locations. Trajectories are obtained by numerical integration of the predicted field, producing smooth motion that remains reactive under closed-loop execution. To enable large-scale training, we build a dataset of over 500k BEV image-instruction pairs, each procedurally annotated with a flow field and a trajectory derived from BEV semantic maps built on Matterport3D and ScanNet. By training on a mixed distribution, CoFL significantly outperforms modular Vision-Language Model (VLM)-based planners and generative policy baselines on strictly unseen scenes. Finally, we deploy CoFL zero-shot in real-world experiments with overhead BEV observations across multiple layouts, maintaining reliable closed-loop control and a high success rate.

研究の動機と目的

• 言語条件付きナビゲーションを動機づけ、壊れやすいモジュール型パイプラインと離散的なアクショントークンを回避する。
• 言語で条件付けられた BEV 空間上の 2D 流れ場を予測するビジョン-言語トランスフォーマを提案する。
• プロシージャ的に注釈付けされた流れ場と軌道を用いた大規模 BEV 画像と指示ペアから学習する。
• 予測された場を数値的に積分してリアルタイムで滑らかな閉ループナビゲーションを実現する。

提案手法

• I と l から BEV 空間上の言語条件付き流れ場 v(x|I, l) をトランスフォーマー型エンコーダ-デコーダで予測する。
• 複数の 2D 座標で流れ場をクエリし、速度ベクトルを生成して連続場を形成する。
• 速度を非負の大きさ M(x) と単位方向 D(x) として表現し V(x)=M(x)·D(x) を計算する。
• 方向余弦損失と大きさ損失を用いて、手続き生成 supervision V* に対してサンプリングされたクエリ点で訓練する。
• 密なグリッド上で前進オイラー積分と逆時刻リスケーリングを用いて推論し、ほぼ一定速度を維持する。

Figure 2 : Overview of the CoFL’s network architecture. Given a RGB BEV observation $I$ and a language instruction $\ell$ , a SigLIP 2-based [ 39 , 37 ] vision–language encoder produces language-conditioned context tokens over the BEV image. The decoder then queries this context with 2D normalized s

実験結果

リサーチクエスチョン

• RQ1 BEV 観測から言語条件付きナビゲーションの幾何学を意識した連続的流れ場を単一のエンドツーエンドモデルで学習できるか。
• RQ2 未見のシーンにおいて、明示的な流れ場監視がモジュール型や生成ベースのベースラインより安全性（衝突回避）と軌道品質を改善するか。
• RQ3 実世界での微調整なしに、モデルは実世界の閉ループナビゲーションへ転移できるか。
• RQ4 グリッド解像度と推論予算はナビゲーション性能と安全性にどのように影響するか。

主な発見

• CoFL はモジュール型 VLM プランナーおよび拡散ポリシーのベースラインと比較して衝突率 CR を大幅に低減し、最終目標誤差 FGE は同等を維持する。
• Matterport3D では CoFL は FGE ≈0.13–0.15、CR ≈0.17–0.22、Curv ≈0.08–0.14 を達成し、ベースラインを上回る。
• ScanNet では FGE を ≈0.07–0.09 に改善し、CR ≈0.35–0.40、ヘッドは約 15M パラメータと大幅に小さくなる。
• 流れ場予測は局所的に正確（AE/ME）であり、軌道のみの手法が抱える幾何的ギャップを補う障害物を考慮したロールアウトをすべての地点で可能にする。
• 微調整なしの実世界展開は、低遅延（1 手順あたり約 28 ms）で複数レイアウトと静的/動的障害物を含むレイアウトに対して堅牢な閉ループ制御を示す。
• ゼロショット実世界ナビゲーションは、障害物なしでのターゲット正解率が 85%、障害物有りで 100% のターゲット達成率を示しつつ安全なクリアランスを維持する。

Figure 3 : Overview of the trajectory inference. The predicted flow field over the workspace guides agents from different starts toward the same goal while smoothly avoiding obstacles.