[論文レビュー] Reconstructing the visual perception of honey bees in complex 3-D worlds

Johannes Polster, Julian Petrasch+2 more|arXiv (Cornell University)|Nov 19, 2018

Insect and Arachnid Ecology and Behavior参考文献 27被引用数 5

ひとこと要約

本論文は、ドローンによる航空写真測量と生物学的に正確な複眼モデルを用いて、ミツバチの視覚的知覚を再構築するオープンソースで高精細な3次元仮想環境を提示する。オマチディウムのサンプリング幾何学とミツバチの位置からのレイキャスティングをシミュレートすることで、飛行経路解析や神経行動相関研究に適したリアルな視覚入力を再構築可能である。

ABSTRACT

Over the last decades, honeybees have been a fascinating model to study insect navigation. While there is some controversy about the complexity of underlying neural correlates, the research of honeybee navigation makes progress through both the analysis of flight behavior and the synthesis of agent models. Since visual cues are believed to play a crucial role for the behavioral output of a navigating bee we have developed a realistic 3-dimensional virtual world, in which simulated agents can be tested, or in which the visual input of experimentally traced animals can be reconstructed. In this paper we present implementation details on how we reconstructed a large 3-dimensional world from aerial imagery of one of our field sites, how the distribution of ommatidia and their view geometry was modeled, and how the system samples from the scene to obtain realistic bee views. This system is made available as an open-source project to the community on \url{http://github.com/bioroboticslab/bee_view}.

研究の動機と目的

• 空中写真測量を用いて2.73 km²のフィールドを再構築し、ミツバチのナビゲーション環境を模擬するリアルな3次元仮想世界を構築すること。
• 測定されたオマチディウム間角度（Δφ）と受容角（Δρ）に従い、正確なオマチディウム分布を持つミツバチの複眼をモデル化すること。
• 実験的に記録されたミツバチの飛行経路から、3次元シーン内の視覚入力を再構築できるようにすること。
• ナビゲーション仮説の検証と神経活動と視覚入力の相関を図るためのオープンソースプラットフォームを提供すること。
• 複雑な3次元シーンをサポートし、コードとデータへの公開を可能にする点で、従来のモデルの限界を克服すること。

提案手法

• マルチコプターを用いた航空画像と写真測量による3次元再構築により、2.73 km²のフィールドを再構築した。
• 測定されたオマチディウム間角度（Δφ）と受容角（Δρ）に従い、合計5500個のオマチディウムを配置したミツバチの複眼モデルを構築した。
• 各オマチディウムの視線方向から3次元シーンをサンプリングするレイキャスティング技術を実装し、統合にガウス重み付けを用いた。
• 球面投影モデルを用いて、3次元視覚入力を複眼表面にマップし、角度的および空間的関係を保持した。
• 仮想世界内でのミツバチの位置と姿勢に基づき、動的視覚入力サンプリングを可能にした。
• GitHub（bee_view）にオープンソースソフトウェアとして公開し、3次元シーンの読み込み、オマチディウム幾何学、リアルタイムレンダリングをサポートした。

実験結果

リサーチクエスチョン

• RQ1 空中画像からどのようにリアルな3次元仮想環境を再構築し、ナビゲーティングするミツバチの視覚世界を模擬できるか？
• RQ2 仮想環境内でミツバチ複眼のオマチディウムサンプリング幾何学を最も正確にモデル化する方法は何か？
• RQ3 実験的に記録されたミツバチの飛行経路からの視覚入力を、3次元仮想世界でどの程度正確に再構築できるか？
• RQ4 写真測量による3次元シーンと生物学的に正確なオマチディウムサンプリングを統合することで、ミツバチの視覚モデルの忠実性はどの程度向上するか？
• RQ5 このシステムは、記録された神経活動と視覚入力を結びつけることで、ミツバチのナビゲーションにおける神経相関に関する新たな知見をもたらせるか？

主な発見

• ドローン画像を用いた写真測量技術により、2.73 km²のフィールドが3次元的に正確に再構築された。
• 測定されたオマチディウム間角度（Δφ：1.5–4.6°）と受容角（Δρ：2.6–4.5°）を正確に反映したオマチディウムモデルが実現された。
• ガウス重み付けと1オマチディウムあたり441ポイントのサンプリングを用いたレイキャスティング法により、生物学的期待に合致する高精細な視覚投影が得られた。
• 仮想世界内の任意の位置と姿勢から、リアルタイムでミツバチの視覚入力を再構築可能であり、行動の再現に適している。
• GitHub（bee_view）にオープンソースとして公開され、コード、地図データ、オマチディウム幾何学がコミュニティが自由に利用可能となった。
• 神経スパイクトレインと視覚入力の相関を図る高度な応用が可能となり、節足動物のナビゲーションと視覚分野における新たな研究が促進された。