[論文レビュー] Significant problems in FITS limit its use in modern astronomical research

B. Thomas, Tim Jenness+12 more|arXiv (Cornell University)|Feb 20, 2015

Distributed and Parallel Computing Systems参考文献 1被引用数 4

ひとこと要約

この論文は、現代の天文学的研究における効果性を阻害するFITs（Flexible Image Transport System）標準の深刻な制限要因を特定している。具体的には、古くなったメタデータ制約、バージョニングや意味論的モデリングの欠如、大規模かつ複雑なデータセットに対する非柔軟な処理が挙げられる。著者らは、FITsが天文学における相互運用性、スケーラビリティ、意味論的に豊かなデータ交換を可能にする役割を維持するため、コミュニティ主導の改革を緊急に求める。

ABSTRACT

The Flexible Image Transport System (FITS) standard has been a great boon to astronomy, allowing observatories, scientists and the public to exchange astronomical information easily. The FITS standard is, however, showing its age. Developed in the late 1970s the FITS authors made a number of implementation choices for the format that, while common at the time, are now seen to limit its utility with modern data. The authors of the FITS standard could not appreciate the challenges which we would be facing today in astronomical computing. Difficulties we now face include, but are not limited to, having to address the need to handle an expanded range of specialized data product types (data models), being more conducive to the networked exchange and storage of data, handling very large datasets and the need to capture significantly more complex metadata and data relationships. There are members of the community today who find some (or all) of these limitations unworkable, and have decided to move ahead with storing data in other formats. This reaction should be taken as a wakeup call to the FITS community to make changes in the FITS standard, or to see its usage fall. In this paper we detail some selected important problems which exist within the FITS standard today. It is not our intention to prescribe specific remedies to these issues; rather, we hope to call attention of the FITS and greater astronomical computing communities to these issues in the hopes that it will spur action to address them.

研究の動機と目的

• 現代の天文学的データ管理を阻害するFITs標準における顕著な技術的欠陥を特定・文書化すること。
• FITsの1970年代に設計された制約——たとえば80文字のカード画像とバージョニングの欠如——が、今日の複雑で大規模なデータワークフローにおける有用性をいかに制限しているかを浮き彫りにすること。
• コミュニティがこれらの問題に先んじて対処しなければ、特許的なフォーマットへの分岐が不可逆的になる前に、その対策を講じることを促すこと。
• 進化する研究慣行を支援するため、より洗練されたデータモデル、機械可読メタデータ、拡張可能な意味論的構造の必要性を強調すること。
• 代替フォーマット（例：HDF5 や HDS）の広範な採用が進む前に、FITsを普遍的な交換フォーマットとして維持するための近代化を図ること。

提案手法

• 80文字のカード画像形式によるFITsの構造的制約を分析し、キーワード長の制限や複雑なCONTINUEカードの使用を強制する要因を特定する。
• FITsファイルおよび拡張子の標準化されたバージョニング、ネームスペース、スキーマ検証の欠如を評価する。
• 誤差配列、データ品質インジケータ、プロバンス追跡といった科学的データモデルに対するネイティブなサポートの欠如を検討する。
• FITsが大規模かつ分散型のデータセットを適切に処理できない点、特にFITsグループ化規約の限界を評価する。
• 複雑な空間変換を制限する、WCS（World Coordinate System）モデルの不完全で非柔軟な実装を分析する。
• コミュニティが、コアデータモデルを新しいシリアル化フォーマットに移行するか、拡張可能でネームスペース付きのメタデータおよびバージョニングをFITsに追加することを検討すべきであると提言する。

実験結果

リサーチクエスチョン

• RQ1 FITsの構造的制限——たとえば80文字のカード画像と2880レコードのブロックサイズ——は、現代のデータ処理およびメタデータ表現性をいかに妨げるか？
• RQ2 FITsにバージョニングとスキーマ検証がないのは、現代の天文学における信頼性の高い機械可読データ交換のための深刻な障壁である理由は何か？
• RQ3 FITsが誤差、マスク、データ品質といった科学的量の標準化されたデータモデルを備えていない場合、天文データセットにどのような影響を与えるか？
• RQ4 FITsが大規模で分散型、あるいはストリーミング形式のデータセットを処理できないことは、次世代の天文学的調査におけるFITsの存続可能性をどのように脅かすか？
• RQ5 対応しないまま放置した場合のリスクは何か？ また、HDF5 や HDS といった代替フォーマットへの分岐が、長年にわたり確立された相互運用性を損なうおそれがあるか？

主な発見

• FITsの80文字のカード画像形式は、メタデータ表現性を制限し、CONTINUEカードなどの複雑な代替措置を強いるほか、キーワードおよび値の長さにも制限を課す。
• バージョニングとスキーマ検証の欠如により、FITsファイルは機械によって信頼性高く解釈できず、ファイルの内容や拡張子の理解に曖昧さが生じる。
• FITsは誤差配列、データ品質フラグ、人間が読めるHISTORYカードを超えたプロバンス追跡といった、重要な科学的データモデルをネイティブにサポートしていない。
• ネームスペースの欠如とUnicode対応の不在により、FITsは科学的記号や非英語表記を表現する能力に制限を受けており、グローバルおよび科学的表現力が低下する。
• FITsグループ化規約は、テラバイト規模の分散データセットを処理するには不十分であり、サイズが不定のデータストリーミングに対応できない。
• コミュニティ主導の近代化が行われなければ、論文はFITsが重要性を失い、HDF5 や HDS といった代替フォーマットへの分岐が進み、相互運用性が低下する可能性を警告している。