[論文レビュー] JyNI - Using native CPython-Extensions in Jython

Stefan Richthofer|arXiv (Cornell University)|Apr 25, 2014

Computational Physics and Python Applications被引用数 5

ひとこと要約

JyNIは、JythonのJVMランタイムへのPython C-APIのブリッジを実装する互換性レイヤーを備えることで、再コンパイルやフォークなしにCPython拡張機能（例：NumPyやSciPy）をネイティブにロードおよび実行できるようにする。これにより、既存のCPython拡張機能をJythonにシームレスに統合でき、Javaプラットフォーム上で科学計算ワークロードを実行可能にする。

ABSTRACT

Jython is a Java based Python implementation and the most seamless way to integrate Python and Java. However, it does not support native extensions written for CPython like NumPy or SciPy. Since most scientific Python code fundamentally depends on exactly such native extensions directly or indirectly, it usually cannot be run with Jython. JyNI (Jython Native Interface) aims to close this gap. It is a layer that enables Jython users to load native CPython extensions and access them from Jython the same way as they would do in CPython. In order to leverage the JyNI functionality, you just have to put it on the Java classpath when Jython is launched. It neither requires you to recompile the extension code, nor to build a customized Jython fork. That means, it is binary compatible with existing extension builds. At the time of writing, JyNI does not fully implement the Python C-API and it is only capable of loading simple examples that only involve most basic built-in types. The concept is rather complete though and our goal is to provide the C-API needed to load NumPy as soon as possible. After that we will focus on SciPy and others. We expect that our work will also enable Java developers to use CPython extensions like NumPy in their Java code.

研究の動機と目的

• Jython（JavaベースのPython実装）が、NumPy や SciPy などのCPython拡張機能をネイティブにロードおよび実行できるようにすること。
• CPythonのC-API互換性の欠如により、Jythonがバイナリ形式のCPython拡張機能をロードできないという制限を克服すること。
• コード変更やカスタムJythonフォークを必要とせず、既存のCPython拡張ビルドとバイナリ互換性を持つソリューションを提供すること。
• 科学的Pythonワークロードを産業用Java環境で実行できる基盤を築くために、コアの科学計算ライブラリへのアクセスを可能にすること。
• NumPyおよびその依存関係を含む主要な拡張機能に対して、Python C-APIの完全互換性を達成すること。

提案手法

• CPythonのC-API呼び出しをJythonのJVMベースのランタイムにおける同等の操作にマップする互換性レイヤー（JyNI）を実装すること。
• Jythonのフッキングメカニズムを活用して、実行時におけるクラスパスへのJyNIの埋め込みを実現し、拡張機能のロードを透明化すること。
• JavaでCPythonオブジェクトとスタブをミラー化し、JyGCHeadオブジェクトを介して参照の接続を維持することで、Javaのガベージコレクションによるネイティブオブジェクトの管理を可能にすること。
• Javaの参照ハンドリング（例：ReferenceQueueを併用した PhantomReference）を活用して、ファイナライザに依存せずにネイティブオブジェクトのクリーンアップを管理すること。
• クラスパスまたはシステムライブラリパスを介したネイティブライブラリの動的ロードをサポートし、libJyNI.soおよびlibJyNI-loader.soの自動発見を可能にすること。
• 基本的な型およびdatetimeやctypesといった重要なモジュールから始める選択的C-APIサポートを実装することで、NumPyの依存関係チェーンを有効化すること。

実験結果

リサーチクエスチョン

• RQ1 CPython拡張機能やJython自体を変更せずに、再コンパイルなしにJythonがCPythonバイナリ拡張機能をロードおよび実行できる互換性レイヤーを構築可能か？
• RQ2 JVM環境でPython C-APIをエミュレートするにはどのような方法があるか？これにより、NumPyのような複雑な科学計算ライブラリをサポートできるか？
• RQ3 Java/Pythonの混合ランタイム環境において、ミラー化されたCPythonオブジェクトのメモリ管理およびガベージコレクションを正しく保証するメカニズムは何か？
• RQ4 JythonとネイティブCPythonオブジェクトの両方にまたがる参照ループを検出し、メモリリークを防ぐためにクリーンアップするにはどのような手法が有効か？
• RQ5 既存のCPython拡張バイナリを、最小限の変更でJythonで再利用できる範囲はどの程度か？

主な発見

• JyNIは、正しい「Fast implementation of the datetime type.」ドキュメンテーション文字列および適切なオブジェクト動作を示すことで、ネイティブCPythonのdatetimeモジュールをJythonがロードおよび実行できることを実証した。
• このソリューションは、既存のCPython拡張ビルドとバイナリ互換性があり、Jythonや拡張機能の再コンパイルやフォークは一切不要である。
• JyNIは、クラスパスへの標準的なインジェクションにより拡張機能をロード可能であり、起動コマンドの変更はJyNI.jarおよびネイティブライブラリをクラスパスに追加するのみである。
• アーキテクチャはJyGCHeadオブジェクトとPhantomReferenceベースのクリーンアップを活用し、ネイティブオブジェクトのライフサイクル管理をJavaのガベージコレクタと統合している。
• JyNIは現在Linuxに限定されているが、コア互換性が確立されれば、将来的なクロスプラットフォーム展開が設計上可能である。
• このアプローチにより、Java開発者がJython経由で直接NumPyなどのCPython拡張機能をJavaアプリケーションで使用できる可能性が開かれる。