[논문 리뷰] JyNI - Using native CPython-Extensions in Jython

Stefan Richthofer|arXiv (Cornell University)|2014. 04. 25.

Computational Physics and Python Applications인용 수 5

한 줄 요약

JyNI는 Jython이 재컴파일 또는 포크 없이도 CPython 확장 모듈(예: NumPy 및 SciPy)을 네이티브로 로드하고 실행할 수 있도록 하는 호환성 레이어를 구현함으로써, Jython의 JVM 런타임과 Python C-API를 연결한다. 이는 기존 CPython 확장 모듈을 Jython에 원활하게 통합할 수 있게 하여, Java 플랫폼에서 과학 계산 워크로드를 가능하게 한다.

ABSTRACT

Jython is a Java based Python implementation and the most seamless way to integrate Python and Java. However, it does not support native extensions written for CPython like NumPy or SciPy. Since most scientific Python code fundamentally depends on exactly such native extensions directly or indirectly, it usually cannot be run with Jython. JyNI (Jython Native Interface) aims to close this gap. It is a layer that enables Jython users to load native CPython extensions and access them from Jython the same way as they would do in CPython. In order to leverage the JyNI functionality, you just have to put it on the Java classpath when Jython is launched. It neither requires you to recompile the extension code, nor to build a customized Jython fork. That means, it is binary compatible with existing extension builds. At the time of writing, JyNI does not fully implement the Python C-API and it is only capable of loading simple examples that only involve most basic built-in types. The concept is rather complete though and our goal is to provide the C-API needed to load NumPy as soon as possible. After that we will focus on SciPy and others. We expect that our work will also enable Java developers to use CPython extensions like NumPy in their Java code.

연구 동기 및 목표

• Jython, 즉 Java 기반의 파이썬 구현체가 NumPy 및 SciPy와 같은 CPython 확장 모듈을 네이티브로 로드하고 실행할 수 있도록 한다.
• CPython 확장 모듈의 바이너리 파일을 로드할 수 없는 제약 조건을 해결한다. 이는 C-API 호환성 문제로 인한 것이다.
• 기존 CPython 확장 모듈 빌드와 호환되는 바이너리 호환 솔루션을 제공하여 코드 수정이나 Jython의 커스터마이징된 포크가 필요 없도록 한다.
• 핵심 과학 컴퓨팅 라이브러리에 접근할 수 있도록 하여, 산업용 Java 환경에서 과학 파이썬 워크로드가 실행될 수 있도록 기반을 마련한다.
• NumPy 및 그 종속성과 같은 핵심 확장 모듈에 대해 Python C-API와의 완전한 호환성을 달성한다.

제안 방법

• CPython C-API 호출을 Jython의 JVM 기반 런타임에서 해당하는 동작으로 매핑하는 호환성 레이어(JyNI)를 구현한다.
• Jython의 훅 메커니즘을 사용하여 런타임에 JyNI를 클래스패th에 삽입함으로써, 확장 모듈 로딩을 투명하게 구현한다.
• Java에서 CPython 객체와 스텁을 복제하고, JyGCHead 객체를 통해 참조 연결을 유지함으로써, 네이티브 객체의 자동 가비지 컬렉션을 가능하게 한다.
• Java의 참조 처리 기능(예: ReferenceQueue와 함께 사용하는 PhantomReference)을 활용하여, 최종자원 해제(finalizers)에 의존하지 않고도 네이티브 객체의 정리 작업을 수행한다.
• 클래스패스 또는 시스템 라이브러리 경로를 통해 네이티브 라이브러리를 동적 로딩할 수 있도록 지원하여, libJyNI.so 및 libJyNI-loader.so의 자동 발견을 가능하게 한다.
• 기본 유형 및 datetime, ctypes와 같은 핵심 모듈부터 시작하여 C-API의 선택적 지원을 구현함으로써, NumPy의 종속성 체인을 구동할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 Jython이 확장 모듈이나 Jython 자체를 수정하지 않고도 CPython 바이너리 확장 모듈을 로드하고 실행할 수 있도록 하는 호환성 레이어를 구축할 수 있는가?
• RQ2 JVM 환경에서 Python C-API를 어떻게 모ulating하여 NumPy와 같은 복잡한 과학 컴퓨팅 라이브러리를 지원할 수 있는가?
• RQ3 혼합된 Java/파이썬 런타임 환경에서 미러링된 CPython 객체의 메모리 관리 및 가비지 컬렉션을 보장하기 위한 메커니즘은 무엇인가?
• RQ4 Jython과 네이티브 CPython 객체를 모두 포함하는 참조 순환 구조를 어떻게 탐지하고 정리하여 메모리 누수를 방지할 수 있는가?
• RQ5 기존 CPython 확장 모듈 바이너리 파일을 얼마나 적은 수정으로 Jython에서 재사용할 수 있는가?

주요 결과

• JyNI는 CPython의 datetime 모듈을 성공적으로 로드하고 실행할 수 있었으며, 이는 "빠른 datetime 유형의 구현"이라는 문서화된 설명과 정상적인 객체 동작을 통해 입증되었다.
• 기존 CPython 확장 모듈 빌드와 바이너리 호환성이 확보되어, Jython이나 확장 모듈의 재컴파일 또는 포크가 필요하지 않다.
• JyNI.jar와 네이티브 라이브러리를 클래스패스에 추가하는 것 외에 실행 명령어에 대한 수정이 없이도 표준 클래스패스 삽입 방식으로 확장 모듈을 로딩할 수 있다.
• 아키텍처는 JyGCHead 객체와 PhantomReference 기반 정리 기법을 사용하여, 네이티브 객체 수명 주기 관리를 자바의 가비지 컬렉터와 통합한다.
• JyNI는 현재 리눅스에 국한되어 있으나, 핵심 호환성이 확보되면 향후 크로스플랫폼 확장이 가능하도록 설계되어 있다.
• 이 접근법은 자바 개발자가 Jython 을 통해 CPython 확장 모듈(예: NumPy)을 직접 자바 애플리케이션에서 사용할 수 있도록 가능하게 한다.