[論文レビュー] A Collective Knowledge workflow for collaborative research into multi-objective autotuning and machine learning techniques
本論文は、ソフトウェare/ハードウェア共同設計の再現可能でマルチオブジェクティブな自動チューニングおよび機械学習を可能にする、ポータブルで共同作業可能なワークフローを、Collective Knowledge (CK) フレームワークを用いて提案している。本研究では、Raspberry Pi 3 デバイスを対象にコンパイラ自動チューニングを実施し、実行時間とコードサイズを最大40％削減した。同時に、コミュニティ主導の最適化、モデル共有、標準化された JSON API および公開された知識リポジトリを介した最適構成の機械学習ベースの予測を実現した。
Developing efficient software and hardware has never been harder whether it is for a tiny IoT device or an Exascale supercomputer. Apart from the ever growing design and optimization complexity, there exist even more fundamental problems such as lack of interdisciplinary knowledge required for effective software/hardware co-design, and a growing technology transfer gap between academia and industry. We introduce our new educational initiative to tackle these problems by developing Collective Knowledge (CK), a unified experimental framework for computer systems research and development. We use CK to teach the community how to make their research artifacts and experimental workflows portable, reproducible, customizable and reusable while enabling sustainable R&D and facilitating technology transfer. We also demonstrate how to redesign multi-objective autotuning and machine learning as a portable and extensible CK workflow. Such workflows enable researchers to experiment with different applications, data sets and tools; crowdsource experimentation across diverse platforms; share experimental results, models, visualizations; gradually expose more design and optimization choices using a simple JSON API; and ultimately build upon each other's findings. As the first practical step, we have implemented customizable compiler autotuning, crowdsourced optimization of diverse workloads across Raspberry Pi 3 devices, reduced the execution time and code size by up to 40%, and applied machine learning to predict optimizations. We hope such approach will help teach students how to build upon each others' work to enable efficient and self-optimizing software/hardware/model stack for emerging workloads.
研究の動機と目的
- コンピュータシステム分野における学術界と産業界の間の技術移転ギャップを解消すること。
- マルチオブジェクティブな自動チューニングおよび機械学習のための標準化され、ポータブルで再利用可能な研究ワークフローの欠如を克服すること。
- 研究者が実験的アーティファクトと結果を持続的かつ再現可能に共有・カスタマイズ・発展させることを可能にすること。
- Raspberry Pi 3 を含む多様なハードウェアプラットフォームにまたがる共同最適化を促進すること、特にボランティアが提供するデバイスを活用したクラウド・ファジングによる実験。
- 標準化された評価とアーティファクト共有を通じて、最先端技術の実世界システムへの迅速な展開を促進すること。
提案手法
- 本論文は、オープンソースの Collective Knowledge (CK) ワークフロー システムに基づく統合的実験フレームワークを導入し、研究用アーティファクトとワークフローの標準化を図った。
- JSONベースの API を用いて設計および最適化選択肢を記述・公開することで、異なるプラットフォーム間でのポータビリティと拡張性を実現した。
- クロスプラットフォームのパッケージマネージャーを統合し、環境やハードウェアに応じて自動的にコンパイルと実行を適応させた。
- マルチオブジェクティブな自動チューニングは、再利用可能な CK ワークフローとして実装され、実行時間、コードサイズ、消費電力、メモリ使用量の最適化をサポートした。
- クラウド・ファジングは、ボランティアが提供する Raspberry Pi 3 デバイスに自動チューニングタスクを分散し、パフォーマンスデータを収集・集約した。
- 収集した最適化データを基に、決定木、k-NN、ディープラーニングなどの機械学習モデルを訓練し、未知のワークロードに対する最適構成を予測した。
実験結果
リサーチクエスチョン
- RQ1標準化され、ポータブルで再利用可能なワークフロー フレームワークは、マルチオブジェクティブな自動チューニングおよび機械学習研究における協働と再現性をどのように向上させるか？
- RQ2Raspberry Pi 3 のような異種デバイスを活用したクラウド・サブスクリプションによる自動チューニングは、最適化効率を高め、実行時間とコードサイズをどの程度削減できるか？
- RQ3共有された最適化データを基に学習された機械学習モデルは、新しいワークロードに対して、最適なコンパイラフラグや構成を高い精度で予測できるか？
- RQ4統一された API とメタデータ標準は、学術界から産業界への持続的技術移転をどのように可能にするか？
- RQ5共有され、コミュニティ主導の知識リポジトリは、ソフトウェア/ハードウェア共同設計分野におけるイノベーションの加速にどのような影響を与えるか？
主な発見
- CKベースのワークフローにより、Raspberry Pi 3 デバイス上で多様なワークロードの共同自動チューニングが実施され、実行時間とコードサイズが最大40％削減された。
- ボランティアが提供する Raspberry Pi 3 デバイスにタスクを分散させることで、クラウド・サブスクリプションによる自動チューニングが成功裏に実現され、結果は公開され、再現可能な知識リポジトリに保存された。
- 決定木や k-Nearest Neighbors などの機械学習モデルは、共有された最適化データに基づき、高い精度で最適なコンパイラ構成を予測できた。
- 標準化された JSON API とメタデータにより、アプリケーション、カーネル、データセット、ツールの統合と再利用が、異なる研究グループやプラットフォーム間でスムーズに実現された。
- 継続的な改善とコミュニティ主導の最適化を可能にする仕組みを通じて、持続的で協働的かつ再現可能な研究の実現に向けた実用的な道筋が示された。
- フレームワークは、ディープラーニングフレームワーク、モデル、Android デバイスを対象にベンチマークの推論パフォーマンスを評価するのにも成功し、cKnowledge.org/repo にライブでインタラクティブなスコアボードとして公開された。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。